基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查 17 探索性数据分析(EDA) Pairs Plot是一次检查多个变 量的好方法，因为它显示了 对角线上的变量对和单个变 量直方图之间的散点图。 18 3.特征工程 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 19 3.特征工程 特征工程和特征选择 •特征工程: 获取原始数据并提取或创建新特征的过程。这可能意味着需要对

TensorFlow 2 进阶使用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 使⽤ TensorFlow 2 实现图像数据增强 • 使⽤ TensorFlow 2 实现分布式训练 • 使⽤ TensorFlow Hub 迁移学习 • 使⽤ @tf.function 提升性能 • 使⽤ TensorFlow Serving 部署云端服务 • 使⽤ TensorFlow android.com/studio Step 1：下载 TensorFlow examples 项目 $ git clone https://github.com/tensorflow/examples Step 2：在 Android Studio 中加载 examples 项目 项目路径：examples/lite/examples/image_classification/android examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 4：在 Android Studio 中安装物品识别 APP Step 5：在 Android Studio 中运行物品识别 APP 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow 与企业服务的结合 – QQ 音乐 来源：《 案例分享 | QQ 音乐应用 TensorFlow 构建 AI 赋能的音乐曲库》 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量 1 1+?2 (14) ? = arccot? 则：?′ = − 1 1+?2 (15) ? = ?ℎ? 则：?′ = ?ℎ?，(16) ? = ?ℎ? 则：?′ = ?ℎ? 高等数学-基本导数与微分表 35 (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ d(??) = ?d? + ?d? (3) ( ? ?)′ = ??′−??′ /tree 53 ⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。

欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量 1 1+?2 (14) ? = arccot? 则：?′ = − 1 1+?2 (15) ? = ?ℎ? 则：?′ = ?ℎ?，(16) ? = ?ℎ? 则：?′ = ?ℎ? 高等数学-基本导数与微分表 36 (1) ? ± ? ′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′ d(??) = ?d? + ?d? (3) ( ? ?)′ = ??′−??′ /tree 54 ⚫Pycharm https://www.jetbrains.com/pycharm/ Pycharm 提供 免费的社区版 与 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍 test_labels) plt.show() Visualize prediction “Hello TensorFlow” Try it！ 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI AI SaaS 理论：Web 框架选型 Python Web 框架 Python Web 框架 - Flask Python Web 框架 - Flask Flask 常用扩展 Flask 项目常见目录结构 启动文件 manage.py 示例 搭建 AI SaaS 理论：数据库 ORM 选型 ORM 是什么 ORM 是什么 常见的 Python ORM • SQLAlchemy http://localhost:9000/tf2/ai_saas AI SaaS 服务识别结果 “Hello TensorFlow” Try it！ 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品识别篇：使用 ResNet 识别你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 图像分类应用：户型图识别（空间、家具） 原始户型图 空间分割 （整体效果） 空间分割 （中间结果） 图像分类应用：智能相册 图像分类应用：瑕疵检测 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程