Python的智能问答之路 张晓庆 目录 CONTENTS 智能问答简介 QA快速实践 Python开发的利与弊 总结展望 1 智能问答简介 智能问答领域分类、举例、应用场景 智能问答领域分类 [Duan 2017] 智能问答举例-Community QA • 数据结构化 Ø 用问答对的方式进行知识表示 Ø 知识点：由若干个问题（相似问）、以及 能回答这些问题的答案组成 Ø 为什么用这种形式？ ü 减轻人工维护答案的工作量 ü 同一知识点下的问题语义相同，是很好的 训练数据 智能问答应用场景 • 辅助人工 Ø 客服 Ø 营销 Ø 特定领域、重复性的对话 • GUI补充 Ø 语音助手 Ø 电话助手 • Voice-only Apps Ø 智能音箱 Ø 车载设备 Ø 可穿戴设备 2 QA快速实践 任务拆解、各个击破 任务拆解 • 业务 Ø 解决什么问题？ n）句对 Ø 每个相似问都对应一个知识点 • 匹配（Matching） Ø 计算（query，question）的语义相关性 Ø 返回top n做排序 • 依赖工具 Ø Python：数据预处理、搭建pipeline Ø Python扩展包：elasticsearch Ø Python扩展包：wmd • 存在问题 Ø 相似意图区分能力弱 Ø 泛化能力差 各个击破－第二次建模 •

– Symbolism AI System = Knowledge + Reasoning  符号主义的主要观点 • 认知即计算 • 知识是信息的一种形式，是构成智能的基础 • 知识表示、知识推理、知识运用是人工智能的核心  Physical Symbol System • A physical symbol system has the necessary and sufficient 领域知识难以表达（形式化），因为它往往是一种隐性知识、过程知识。 2、知识应用困难 （1）开放性应用易于超出预先设定的知识边界；（2）有的应用需要尝试知 识的支撑，而常识知识往往难以定义、表达、表征。 3、很难处理异常情况 e.g., 鸵鸟不会飞 本页PPT借鉴于复旦大学肖仰华老师《大数据时代的知识工程与知识管理》 大数据时代催生KE飞速前进发 展 Preliminaries Preliminaries 1999 群体智能（多语言） -/8,000,000/36/21,000,000 YAGO 2007 WordNet + Wikipedia 4,595,906/488,469/77/ DBpedia 2007 Wikipedia + 专家知识 17,315,785/754/2843/79,030,098 Freebase 2008 Wikipedia + 领域知识+ 群体 智能 58,726

通过关联、知识图谱获 得可能原因 基于模式的预测 AIOps增强分析与⾏行行动能⼒力力，挡住更更多⼯工单 2 ⼯工程难点 数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源： 各种数据样式： • Log、Tracking、Event；Metrics、IoT data；⽹网络数据； • ⽂文本、⼯工单、知识库；API；代码等 • ⼤大数据的3V（容量量、变化、种类） 数据类型⽐比较 数据类型与⽐比较 ⽇日志 Tracking 指标 ⽂文本 数据格式 ⾮非结构化 半结构化，数据关联 结构化（聚集） ⾮非结构化 数据量量 ⼤大 较⼤大 ⼀一般到极⼤大（IoT) ⼀一般 简单 较难 价值 ⾼高（尤其安全） ⾼高 随着时间推移变低 ⽐比较⾼高 数据之间的重叠 数据中台的处理理 • 海海量量多样数据的存储/索引： • 时序指标数据、⽂文本数据、⽇日志、⽹网络数据、Tracking等 • 各种分析的⽀支持： • 流式分析：流式或微批实时处理理 • 统计关联分析：多维度的实时关联统计与分析⽀支持，⽀支持交互式add-hoc⽅方式 • 数据治理理：

深度学习 －用 PYTHON 开发你的智能应用 / ， 费良宏 lianghon@amazon.com AWS Technical Evangelist 21 April 2016 关于我 工作：Amazon Web Services / Evangelist 7 年 Windows/ Internet/ Cloud @ 3 年 iOS/ Mobile App @ 1.5 年 Cloud Cloud Computing @ 技术关注： 云计算：架构、大数据、计算优化 机器学习：深度学习、自然语言处理 语言：Python、Go、Scala、Lua Web：爬虫 2016的目标：Web爬虫＋深度学习＋自然语言处理 ＝ ？ Microso� Apple AWS 今年最激动人心的事件？ 2016.1.28 “Mastering the game of Go with deep search” 今年最激动人心的事件？ 2016年3月Alphago 4:1 击败李世石九段 人工智能 VS. 机器学习 VS. 深度学习 人工智能发展的历史 四大宗师 Yann Lecun, Geoff Hinton, Yoshua Bengio, Andrew Ng 机器学习 机器学习是一门人工智能的科学。机器学习算法是一类从 数据中自动分析获得规律，并利用规律对未知数据进行预 测的算法

www.51testing.com 后端开发（Django+Rest Framework+MySQL）： Django 负责处理 HTTP 请求和响应，以及 URL 路由的配置。它接收来自前端的 HTTP 请求，并根据 URL 将请求分发给相应的视图函数进行处理。 Rest Framework 是 Django 的扩展，用于快速构建 RESTful API 接口。通过 Rest Framework，可以定义 前端通过 HTTP 请求向后端发送数据请求，后端根据请求进行相应的数据处理，并 返回响应数据给前端。 前端接收到后端返回的数据，并根据数据更新页面展示，实现与用户的交互。 总体而言，这种前后端分离的开发模式有助于实现前后端开发的解耦，使得各自的 开发工作更加专注和高效。前端负责用户界面的呈现和交互，后端负责数据处理和业务 逻辑，通过 API 接口进行数据传输和交互，从而实现一个完整的 Web 数据反序列化为数据对象，便于在后端进行 处理。 视图：DRF 提供了各种视图类，用于处理 API 请求，并返回适当的响应。包括基于 函数的视图和基于类的视图，还有通用视图和视图集等。 路由：DRF 提供了灵活的路由功能，用于将 API 请求映射到相应的视图处理函数上。 认证和权限：DRF 支持各种认证和权限控制方式，可以保护 API 的安全性。 分页和过滤：DRF 提供了分页和过滤功能，便于处理大量数据和筛选查询结果。

PyWebIO PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输 出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于 浏览器的GUI应用。 使用PyWebIO，开发者能像编写终端脚本一样(基于input 和print进行交互)来编写应用，无需具备HTML和JS的相关知识； PyWebIO还可 以方便地整合进现有的Web服务。非常适合快速构建对UI要求不高的应用。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API，你可以简单地调用 put_text() 、 put_image() 、 put_table() 等函数输出文本、图片、表格等内容到浏览器， 也可以调用 input() 、 select() 、 file_upload() 等函数在浏览器上显示不同 表单来接收用户的输入。此外PyWebIO中还提供了点击事件、布局等支持，让 入。PyWebIO的输入函 数是阻塞式的（和Python内置的 input 一样），在表单被成功提交之前，输入 函数不会返回。 基本输入 首先是一些基本类型的输入。 文本输入: 这样一行代码的效果为：浏览器会弹出一个文本输入框来获取输入，在用户完 成输入将表单提交后，函数返回用户输入的值。 下面是一些其他类型的输入函数: age = input("How old are you?", type=NUMBER)

PyWebIO PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输 出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于 浏览器的GUI应用。 使用PyWebIO，开发者能像编写终端脚本一样(基于input 和print进行交互)来编写应用，无需具备HTML和JS的相关知识； PyWebIO还可 以方便地整合进现有的Web服务。非常适合快速构建对UI要求不高的应用。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API，你可以简单地调用 put_text() 、 put_image() 、 put_table() 等函数输出文本、图片、表格等内容到浏览器， 也可以调用 input() 、 select() 、 file_upload() 等函数在浏览器上显示不同 表单来接收用户的输入。此外PyWebIO中还提供了点击事件、布局等支持，让 入。PyWebIO的输入函 数是阻塞式的（和Python内置的 input 一样），在表单被成功提交之前，输入 函数不会返回。 基本输入 首先是一些基本类型的输入。 文本输入: 这样一行代码的效果为：浏览器会弹出一个文本输入框来获取输入，在用户完 成输入将表单提交后，函数返回用户输入的值。 下面是一些其他类型的输入函数: age = input("How old are you?", type=NUMBER)

PyWebIO PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输 出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于 浏览器的GUI应用。 使用PyWebIO，开发者能像编写终端脚本一样(基于input 和print进行交互)来编写应用，无需具备HTML和JS的相关知识； PyWebIO还可 以方便地整合进现有的Web服务。非常适合快速构建对UI要求不高的应用。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API，你可以简单地调用 put_text() 、 put_image() 、 put_table() 等函数输出文本、图片、表格等内容到浏览器， 也可以调用 input() 、 select() 、 file_upload() 等函数在浏览器上显示不同 表单来接收用户的输入。此外PyWebIO中还提供了点击事件、布局等支持，让 入。PyWebIO的输入函 数是阻塞式的（和Python内置的 input 一样），在表单被成功提交之前，输入 函数不会返回。 基本输入 首先是一些基本类型的输入。 文本输入: 这样一行代码的效果为：浏览器会弹出一个文本输入框来获取输入，在用户完 成输入将表单提交后，函数返回用户输入的值。 下面是一些其他类型的输入函数: age = input("How old are you?", type=NUMBER)

PyWebIO PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输 出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于 浏览器的GUI应用。 使用PyWebIO，开发者能像编写终端脚本一样(基于input 和print进行交互)来编写应用，无需具备HTML和JS的相关知识； PyWebIO还可 以方便地整合进现有的Web服务。非常适合快速构建对UI要求不高的应用。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API，你可以简单地调用 put_text() 、 put_image() 、 put_table() 等函数输出文本、图片、表格等内容到浏览器， 也可以调用 input() 、 select() 、 file_upload() 等函数在浏览器上显示不同 表单来接收用户的输入。此外PyWebIO中还提供了点击事件、布局等支持，让 入。PyWebIO的输入函 数是阻塞式的（和Python内置的 input 一样），在表单被成功提交之前，输入 函数不会返回。 基本输入 首先是一些基本类型的输入。 文本输入: 这样一行代码的效果为：浏览器会弹出一个文本输入框来获取输入，在用户完 成输入将表单提交后，函数返回用户输入的值。 下面是一些其他类型的输入函数: age = input("How old are you?", type=NUMBER)

PyWebIO PyWebIO提供了一系列命令式的交互函数来在浏览器上获取用户输入和进行输 出，将浏览器变成了一个“富文本终端”，可以用于构建简单的Web应用或基于 浏览器的GUI应用。 使用PyWebIO，开发者能像编写终端脚本一样(基于input 和print进行交互)来编写应用，无需具备HTML和JS的相关知识； PyWebIO还可 以方便地整合进现有的Web服务。非常适合快速构建对UI要求不高的应用。 你可以按照编写控制台程序的逻辑编写PyWebIO应用，只不过这里的终端变成 了浏览器。通过PyWebIO提供的命令式API，你可以简单地调用 put_text() 、 put_image() 、 put_table() 等函数输出文本、图片、表格等内容到浏览器， 也可以调用 input() 、 select() 、 file_upload() 等函数在浏览器上显示不同 表单来接收用户的输入。此外PyWebIO中还提供了点击事件、布局等支持，让 入。PyWebIO的输入函 数是阻塞式的（和Python内置的 input 一样），在表单被成功提交之前，输入 函数不会返回。 基本输入 首先是一些基本类型的输入。 文本输入: 这样一行代码的效果为：浏览器会弹出一个文本输入框来获取输入，在用户完 成输入将表单提交后，函数返回用户输入的值。 下面是一些其他类型的输入函数: age = input("How old are you?", type=NUMBER)