Python的智能问答之路 张晓庆 目录 CONTENTS 智能问答简介 QA快速实践 Python开发的利与弊 总结展望 1 智能问答简介 智能问答领域分类、举例、应用场景 智能问答领域分类 [Duan 2017] 智能问答举例-Community QA • 数据结构化 Ø 用问答对的方式进行知识表示 Ø 知识点：由若干个问题（相似问）、以及 能回答这些问题的答案组成 找到和用户query最匹配的问题，进而给 出对应的答案 • 特点 Ø 易于维护 Ø 符合实际业务场景 Ø 为什么用这种形式？ ü 减轻人工维护答案的工作量 ü 同一知识点下的问题语义相同，是很好的 训练数据 智能问答应用场景 • 辅助人工 Ø 客服 Ø 营销 Ø 特定领域、重复性的对话 • GUI补充 Ø 语音助手 Ø 电话助手 • Voice-only Apps Ø 智能音箱 Ø 车载设备 Ø 可穿戴设备 相似意图区分能力弱 Ø 泛化能力差 各个击破－第二次建模 • Baseline：检索＋匹配 • 排序（Ranking） Ø 用知识库内的相似问，构造句对训练数 据，训练有监督的模型 Ø 基于通用领域的问答对，构造句对训练 数据，训练通用领域内有监督的模型 Ø 模型融合 Ø 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 • 依赖工具

. . . . . 6 1.4.2 单位 B 和 T . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2 AI 工具梳理 6 2.1 问答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.1 ChatGPT . . . . . . . 很！有没有这种感觉？所以，在这一章，梳理主流的 AI 工具，注意不是穷举， 那些不经常用的工具，不浪费文字和耽误时间。 梳理总结六大类 AI 工具，分别包括：问答，图像，视频，AI 编程，AI 提 示词和 AI 大模型，一共梳理挑选共计 38 个 AI 工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 6 Figure 3: AI 问答工具 ChatGPT 经过特别训练，可以理解和生成人类语言，从而在多种应用场景中提 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic

这种外挂文件的形式，我们便可以构建一个知识文件管理的系统来维护系统内的 知识，包括生效和失效时间，知识的协作，以及便捷地为知识更新内容等。RAG 在知识维护上， 既不需要像传统 NLP 那样由人工先理解再抽取问答对，也不需要像微调（fine-tune）那样需要 非常专业的技术能力，以及微调之后的繁琐对齐（alignment）优化。所以如果客户的知识内容 45 / 111 更新比较频繁（假设每天需要追加 足够清晰（指的是没有歧义内容、检索相关度高），结果就会非常准确？根据我们的实 践结果，答案是明确的：今年 9 月份我们对一些项目进行了槽位填充（消除模糊问答）和元数 据辅助之后，问答准确率可达到 98%以上。比直接把大文本扔进同一个 LLM 测试的问答准确率 几乎高出 14 个百分点。 有同学会说，LLM 幻觉的深层原因是 temperature 或者说概率引起的。就我纯个人观点来 看，现当下的 强和多家中国 500 强。如果从时间上来说，他们属于 AI 投入相对较晚的了，但他们的优势是需 求非常明确，要求也极高。比如有些企业仅仅就是解决一个咨询服务的需求，在产品范围上就是 一个 AI 问答，但要求准确率接近 100%，就像我们 CTO 在《AIGC 时代的淘金者，TorchV 这 一年的心路历程》说到社保咨询一样。 小而难的好处很明显，我能看到的是下面几点：  对企业现有业务

流程优化 数据可视化 数据分析 趋势分析 多模态交互 任务执行 任务协调 工具调用 格式转换 关系抽取 语言理解 文案写作 代码注释 故事创作 通用问答 专业领域问答 因果推理 知识推理 问答系统 逻辑推理 自然语言处理 文本生成与创作 建议生成 风险评估 辅助决策 概念关联 知识整合 交互能力 情感分析 文本分类 图像理解 跨模态转换 给您添麻烦”。 • 弱化模糊表述：将“家里有事”改为“家人突发重病需陪护”，避免领导误解为小事。 • 明确行动：补充“请假期间可随时联系我处理紧急问题”。 3. 预判领导反应并准备预案（用AI模拟问答） p 操作：输入：“如果领导说‘项目缺了你不行，能不能缩短假期？’如何回应？” p AI建议回应： • 共情+底线+替代方案： “我完全理解项目的重要性，但家人目前手术风险高，必须陪护到周四。我已培训小刘处理核心问题，并随时在 AD数据集，这个数据 集包含了大量基于2020年之前数据生成的问答对。 提取问题：从数据集中提取问题，并使用set去重。 检查问题数量：确保提取的问题数量至少为10万个。 保存问题：将问题保存到CSV文件生成的真实答案问题.csv中。 要生成10万个存在真实答案的问题，并且基于2020年之前的 数据，可以使用现有的公开问答数据集（如SQuAD 、 Natural Questions等）来生成问题。可以从多个数据集中组

一些总结 第46章：一些简单的总结 第47章：关于Go中的nil 第48章：类型转换、赋值和值比较规则大全 第49章：Go中的一些语法/语义例外 第50章：Go细节101 第51章：Go问答101 第52章：Go技巧101 第53章：更多关于Go的知识 本书由老貘历时三年写成。目前本书仍在不断改进和增容中。你的赞赏是本书和 Go101.org网站不断增容和维护的动力。 赞赏 （请搜索关注微信公众号“Go ZhaoYan、 Li ShuMin、 Bai Kai、 modood、 xmwilldo、 TheChalice和zonesan等。 第1章：致谢 7 特别感谢白凯同学帮助我翻译了《细节101》、《问答101》和《技巧101》三篇文 章。 我很抱歉如果上述列表遗漏了某个曾经给予我帮助的成员。 Go社区有如此多友善和 富有创造性的成员，以至于上述列表肯定遗漏了某些成员。 感谢所有曾经直接或者 载在同一个内存块（第43章）上。 一个切片值的任何元素都是可寻址的，即使此切片本身是不可寻址的。 这是 因为一个切片的底层元素总是存储在一个被开辟出来的内存片段（间接值部） 上。 任何映射元素都是不可寻址的。原因详见此条问答（第51章）。 一个例子： 1| package main 2| 3| import "fmt" 4| 5| func main() { 6| a := [5]int{2

能推荐 电商领域的场景化推荐 Preliminaries Knowledge Graph – 智能问答 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 人机交互方式将更加自然，对话式交互取代关键词搜索成为主流交互方式 一切皆可回答：图片问答、新闻问答、百科问答 目录 CONTENTS The Pipeline of Knowledge Graph Construction

•微软小冰 2016 •Facebook Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Learning Task-Bot: 总结：三个Bot框架 • IR-Bot（成熟度： ） • 基于检索/排序的流程，历史悠久，技术成熟 • 引入深度学习，计入长效依赖，生成更好的语句表达 • Task-Bot（成熟度： ） • 解决任务型多轮问答 • 深度学习端到端？ • Chitchat-Bot（成熟度： ） • 开域聊天 • 深度学习在NLP里的新舞台 • 通向强人工智能之路？ 爱因互动 EIN+: 深度定制对话服务 爱因互动

计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD laminar.fun/talks/2021-KCD Serverless 简介 什么是 Serverless ？ Serverless Graph! Nebula Operator 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ KubeSphere 上的图数据库 KubeSphere 上的 OpenFunction Siwi，⼀个基于 Nebula 的单⼀领域问答机器⼈ Nebula-Siwi on FaaS on KubeSphere d 0 d 1

分支，用于分析、理解和生成自然语言，方便人机交流 应用：智能问答，机器翻译，文本分类，文本摘要，标 签提取，情感分析，主题模型 NLP发展简史 1950S 1980s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 成熟，同样影响NLP领 域，从传统的机器学习 逐渐过渡到深度学习 NLP技术层次 日常工作中各类常见的文本形式 新闻文章 企业合同/公文 客户评论意见 企业产品手册 法律/人事/证券等专业文本 问答资料 02 深度学习与NLP 深度学习发展与应用 语音识别 计算机视觉 自然语言处理 海量数据 算法进步 芯片技术 应用 基础 深度学习与机器学习 深度学习 例如CNN、RNN等

. . . . . . . . . . . . . . . . . . . . . . 23 3.2.7.4 视觉问答模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.7.5 视频问答模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . batch_size=128) 构建一个问答系统，一个图像分类模型，一个神经图灵机，或者其他的任何模型，就是这么 的快。深度学习背后的思想很简单，那么它们的实现又何必要那么痛苦呢？ 有关 Keras 更深入的教程，请查看： • 开始使用 Sequential 顺序模型 • 开始使用函数式 API 在代码仓库的 examples 目录中，你会找到更多高级模型：基于记忆网络的问答系统、基于 栈式 LSTM activation='sigmoid')(concatenated) classification_model = Model([digit_a, digit_b], out) 3.2.7.4 视觉问答模型 当被问及关于图片的自然语言问题时，该模型可以选择正确的单词作答。 它通过将问题和图像编码成向量，然后连接两者，在上面训练一个逻辑回归，来从词汇表 中挑选一个可能的单词作答。 from keras