使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

ElementTree —ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1010 20.6 xml.dom —文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025 20.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2

ElementTree —ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1010 20.6 xml.dom —文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025 20.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1000 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015 21.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1058 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074 21.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1120 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1139 20.7 xml.dom.minidom codecs.BOM_UTF32_BE codecs.BOM_UTF32_LE 这些常量定义了多种字节序列，即一些编码格式的 Unicode 字节顺序标记（BOM）。它们在 UTF-16 和 UTF-32 数据流中被用以指明所使用的字节顺序，并在 UTF-8 中被用作 Unicode 签名。BOM_UTF16 是BOM_UTF16_BE 或BOM_UTF16_LE，具体取决于平台的本机字节顺序，BOM 是BOM_UTF16 Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和