情感分类实战 主讲人：龙良曲 Google CoLab ▪ Continuous 12 hours ▪ free K80 for GPU ▪ no need to cross GFW Load Dataset Network Load word embedding Train Test 下一课时 GAN Thank You.

对话交互的价值：在哪儿/在那儿 • 行业早期，价值待验证 • “能帮我把转化率提升50%吗？” • 需求界定师：砍掉不合实际的需求 • “能不能把我的销售、客服全换成机器人？” • “能不能通过分析上课视频，来解答学生的问题？” • 对话设计师：怎么更优雅地达到目的 • “公交车上你会给老人让座吗？” • 做能做且有价值的事，努力把不能做的事变成可做的 Thanks 爱因互动，欢迎你的加入

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 8.7.1 循环神经网络的梯度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 8.7.2 通过时间反向传播的细节 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 11.4.3 凸目标的收敛性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454 11.4.4 随机梯度和有限样本 . . . 实际实验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471 11.6.3 理论分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 11.7 AdaGrad算法

这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 RCNN、SSD、YOLO、 RetinaNet 系列等。 语义分割(Semantic Segmentation) 是通过算法自动分割并识别出图片中的内容，可以 将语义分割理解为像素点的分类问题，分析每个像素点的物体的类别信息，如图 1.16 所 示。常见的语义分割模型有 FCN、U-net、PSPNet、DeepLab 系列等。 预览版202112 1.4 深度学习应用 11

种子语料 机器学习模型 人工标注 15 华为云主动学习平台 16 华为云主动学习平台 17 1 2 4 3 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 18 情感分析 0.00% 20.00% 40.00% 60.00% 80.00% 100.00% Accuracy Precision Recall F1 score 和友商效果对比-汽车领域 外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- 19 细粒度情感分析 0.75 0.8 0.85 0.9 0.95 1 动力 外观 内饰 空间 操控 油耗 舒适性 性价比 汽车细粒度情感分析各属性结果 Accuracy F  定制化Loss，单模型多输出  数据标注灵活  结合数据增强，针对不均衡数据做优化 用户反馈的话题类型， 并进行热点话题分析 等。 准确率：96% 税务问题 分类 识别用户在税务局 中咨询的问题类型， 并进行热点问题分 析。 准确率：99% 广告检测 识别文本是否是广 告。如“去屑洗发 水，全国包邮”。 准确率：92% 案件描述 分类 对案件描述进行分类， 并进行可视化展示。 准确率：93% 政务问题 分类 识别用户所问问题 类型并进行热点问 题分析。 准确率：98%

机器学习 深度学习 人工智能 更多的用户 更好的产品 更多的数据 更好的分析 对象存储 数据库 数据仓库 数据流分析 商业智能 Map/Reduce 内存数据库 数据检索 点击流 用户活动 内容生成 购买 点击 喜好 传感器数据 机器学习& 人工智能 大数据 更多的用户 更好的产品 更多的数据 更好的分析 围绕数据的“飞轮” 算法 数据 程序模型 GPUs & 计算加速 用程序的核心&业务之中吗? Amazon AI 构建于深度学习之上的智能服务 Amazon AI: 新的深度学习服务 生活化的语音服务 Polly Lex 对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 like AWS Lambda and AWS DynamoDB is really appealing.” Amazon Rekognition 基于深度学习的图像识别服务 目标和场景检测 面部分析 人脸比对 人脸识别 集成了 S3, Lambda, Polly, Lex 对象和场景识别 为成千上万的对象、场景和概念生成标签，并配有可信度的数字 • 检索、过滤并对 图片库去粗取精 •

系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 什么是NLP 概念：Natural Language Processing 自然语言处理 目的：让机器理解人类的语言，是人工智能领域的重要 分支，用于分析、理解和生成自然语言，方便人机交流 应用：智能问答，机器翻译，文本分类，文本摘要，标 签提取，情感分析，主题模型 NLP发展简史 1950S 1980s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 深度学习和传统机器学习 输入数据 深度学习算法 输入数据 特征工程 传统机器学习算法 非常耗费时间 以文本分类过程举例，常见 的特征提取算法包括： 词频 TF-IDF 互信息 信息增益 期望交叉熵 主成分分析 … 特征工程需要手工寻找特 征，花费大量人力，特征的 好坏往往决定最终结果 深度学习基础结构 基础神经元结构 多个神经元连接组成神经网络 字词表示 计算机 电脑 [ 0, 0, 0, 0

差距进行最小化处理： minimize ෍ ?=1 10,000 ෍ ?=1 10,000 ? ??? ?? ??? + ?? + ?? ′ − ?????? 2 29 5.情感分类 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 30 预训练模型的发展 31 预训练模型的发展 GPT仅采用上文 预测单词（BERT采用了基于上下文双向的预测手段）。 注：ChatGPT的表现更贴近人类意图，部分因为一开始GPT是基于上文的预测，这更贴近人类的话语模式，因为人类言语无法基于将来的话来做分析。 图：GPT-1模型相比于Transformer模型有了显著简化 Transformer架构 GPT-1架构 GPT用于对不同任务进行微调的输入转换的示意图 GPT的发展 36 GPT-2的核心抓 鉴于传统NLP技术的局限问题，基于大语言模型（LLM）有助于充分利 用海量无标注文本预训练，从而文本大模型在较小的数据集和零数据集 场景下可以有较好的理解和生成能力。基于大模型的无标准文本书收集， ChatGPT得以在情感分析、信息钻取、理解阅读等文本场景中优势突 出。 ✓ 随着训练模型数据量的增加，数据种类逐步丰富，模型规模以及参数量 的增加，会进一步促进模型语义理解能力以及抽象学习能力的极大提升， 实现

2 CIFAR100 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12.3 IMDB 电影评论情感分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12.4 路透社新闻主题分类 . . . . . . . . 这里有几个可以帮助你开始的例子！ 在 examples 目录 中，你可以找到真实数据集的示例模型： • CIFAR10 小图片分类：具有实时数据增强的卷积神经网络 (CNN) 快速开始 11 • IMDB 电影评论情感分类：基于词序列的 LSTM • Reuters 新闻主题分类：多层感知器 (MLP) • MNIST 手写数字分类：MLP 和 CNN • 基于 LSTM 的字符级文本生成 … 等等。 3 Tensorflow，你应该可以从命令行启动 Tensorflow： tensorboard --logdir=/full_path_to_your_logs 参数 • log_dir: 用来保存被 TensorBoard 分析的日志文件的文件名。 • histogram_freq: 对于模型中各个层计算激活值和模型权重直方图的频率（训练轮数中）。 如果设置成 0 ，直方图不会被计算。对于直方图可视化的验证数据（或分离数据）一定要

ct = lstmcell(xt, [ht_1, ct_1]) ▪ xt: [b, vec] ▪ ht/ct: [b, h] Single layer Two Layers 下一课时 情感分类问题实 战 Thank You.