SDK/API  多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板：物体检 测、语音识别 • 数据集管理 • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer) 分布式训练(DLC) 在线服务(EAS) 生态市场 开发者工具 • CLI • PAIFlow • OpenAPI AI能力 体验中心 开源 PAI平台（Platform

数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 6 机器学习的一般步骤 数据搜集 数据清洗 特征工程 数据建模 • 基于性能指标比较几种机 器学习模型 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。 •简而言之，EDA的目标是确定我们的数据可以告诉我们什么！ 探索性数据分析(EDA) 11 探索性数据分析(EDA) 单变量图显示此变量的分布 plt.hist()可以显示单变量图，也叫

组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过 可能没有一些公司试图让大家相信的那么自主），可以自动起草普通邮件的智能回复系统，帮助人们从令人 压抑的大收件箱 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及 断的鼓励，这本书就不会出版。 小结 • 深度学习已经彻底改变了模式识别，引入了一系列技术，包括计算机视觉、自然语言处理、自动语音识 别。 • 要成功地应用深度学习，必须知道如何抛出一个问题、建模的数学方法、将模型与数据拟合的算法，以 及实现所有这些的工程技术。 • 这本书提供了一个全面的资源，包括文本、图表、数学和代码，都集中在一个地方。 • 要回答与本书相关的问题，请访问我们的论坛discuss

COPYRIGHTS RESERVED 10 AI选房 - 房源质量打分   好房定义 AI选房建模 Y = f (X)  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 11 AI选房建模  成交/带看具有周期性  周期性单位：周 2019年3月每天的成交量和带看量 作业周期性分析 作业周期性分析 时间选择：周的倍数 2019 KE.COM ALL COPYRIGHTS RESERVED 12 AI选房建模  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源  时间太短：信息传递不充分  时间太长： - 中间出现其他原因导致成交 - 无法及时反馈效果  综合考虑，并对比测试：选择2周 Y = f (X)  对比测试：选择2周  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 13 AI选房建模  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 Y = f (X)  行为特征选择14天进行聚合  挂牌不足14天房源，行为特征信息不足

train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score 基本建模流程 9 2.Scikit-learn主要用法 ✓Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀 疏 矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是 基模型都可以作为estimator参数传入 14 2.Scikit-learn主要用法 监督学习算法-回归 from sklearn.linear_model import LinearRegression 构建模型实例 lr = LinearRegression(normalize=True) 训练模型 lr.fit(X_train, y_train) 作出预测 y_pred = lr.predict(X_test) n_iter=10) random_search.fit(X_train, y_train) random_search.best_params_ 在参数子空间中进行随机搜索，选取空间中的100个点进行建模（可从 scipy.stats常见分布如正态分布norm、均匀分布uniform中随机采样 得到），时间耗费较少，更容易找到局部最优 28 3.Scikit-learn案例 01 Scikit-learn概述

或 cPickle 来保存 Keras 模型。 你可以使用 model.save(filepath) 将 Keras 模型保存到单个 HDF5 文件中，该文件将包含： • 模型的结构，允许重新创建模型 快速开始 29 • 模型的权重 • 训练配置项（损失函数，优化器） • 优化器状态，允许准确地从你上次结束的地方继续训练。 你可以使用 keras.models.load_model(filepath) 文件是人类可读的，如果需要还可以手动编辑。 你可以从这些数据建立一个新的模型： # 从 JSON 重建模型： from keras.models import model_from_json model = model_from_json(json_string) # 从 YAML 重建模型： from keras.models import model_from_yaml model 表示填充输入以使输出具有与原始输入相同的长度。"causal" 表示因果（膨胀）卷积，例 如，output[t] 不依赖于 input[t+1:]，在模型不应违反时间顺序的时间数据建模时非常有用。 在模型不应违反时间顺序的时间数据建模时非常有用。详见 WaveNet: A Generative Model for Raw Audio, section 2.1。 • dilation_rate: 一个

Class tf.compat.v2.keras.models.Model • Class tf.keras.models.Model 使用 tf.keras.Model 构建模型 使用 tf.keras.Model 构建模型 使用 tf.keras.Model 训练模型 保存和加载 h5 模型 保存和加载 SavedModel 模型 Fashion MNIST 数据集介绍 Original

支持向量机（SVM） • 感知器（Perceptron） • 深度神经网络（DNN） 前置知识：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变 量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线 性组合。 前置知识：单变量线性回归 理想函数 假设函数 损失值（误差） 前置知识：单变量线性回归 前置知识：梯度下降 22368 -0.78305 训练数据： 假设函数： 使用 TensorFlow 实现房价预测模型 使用 TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。

y_test)`. MNIST 数据集 样例可视化 MNIST Softmax 网络介绍 感知机模型 1957年，受 Warren McCulloch 和 Walter Pitts 在神经元建模方面工作的启发，心理学家 Frank Rosenblatt 参考大脑中神经元信息传递信号的工作机制，发明了神经感知机模型 Perceptron 。 二分类模型 神经网络 在机器学习和认知科 对函数进行估计或近似。神经网络是多层神经元的连接，上一层神经元的输出，作为下一层 神经元的输入。 线性不可分 激活函数（Activation Function） 为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用非线性函数，常用的有Sigmoid、tanh、ReLU等。 全连接层（ fully connected layers，FC

未来⽅向—现有推荐架构的问题，算法⼯程协同的解法 � 更基础的复杂模型，场景的快速适应 � 多场景建模 � 端云⼀体的协同 推荐技术 [KDD2020] DCAF: A Dynamic Computation Allocation Framework for Online Serving System � 推荐全链路⾃适应 � 统⼀建模，根据请求量削峰填⾕，资源利⽤最⼤化 [ijcai2021] UNBERT: