01 月 25 日 整体介绍 1 系统介绍 1 2 基本概念 3 3 正在进行中 5 4 快速安装 7 5 编译和安装 9 6 客户端工具 21 7 案例应用-线性回归算法测试 27 8 案例应用-逻辑回归算法测试 33 9 部署架构 37 10 Distributed AI 39 11 XuperDB 41 12 Crypto 45 13 我们的团队 49 14 参与开发 点确认数据使用权，由任务执行节点最终执行。 2.4 算法 PaddleDTX 中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测 任务的时候，由计算需求节点指定。 2.6 模型 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的优劣； 4. 优化目前使用的加法同态算法 Paillier 的性能； 5. 去中心化存储服务支持负载均

03 月 29 日 整体介绍 1 系统介绍 1 2 基本概念 3 3 正在进行中 7 4 快速安装 9 5 编译和安装 11 6 客户端工具 23 7 案例应用-线性回归算法测试 29 8 案例应用-逻辑回归算法测试 35 9 部署架构 39 10 Distributed AI 41 11 XuperDB 49 12 Crypto 53 13 我们的团队 57 14 参与开发 点确认数据使用权，由任务执行节点最终执行。 2.4 算法 PaddleDTX 中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 2.5 训练样本和预测数据集 PaddleDTX 中的训练样本和预测数据集都是以文件的形式存储于中心化存储网络，在发布训练任务或者预测 任务的时候，由计算需求节点指定。 2.6 模型 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改造； 3. 优化目前使用的加法同态算法 Paillier 的性能； 4. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现情况，在文件分发时找到最 优节点列表。

快速安装 编译和安装 源码编译和安装 通过 docker 安装 客户端工具 操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor 持有节点确认数据使用权，由 任务执行节点最终执行。 算法 PaddleDTX中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学 习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网 络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 模型 算法和训练样 到最终结 果。 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策 树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改 造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的 优劣； 4. 优化目前使用的加法同态算法Paillier的性能； 5. 去中心化存储服务支持负载

快速安装 编译和安装 源码编译和安装 通过 docker 安装 客户端工具 操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor 持有节点确认数据使用权，由 任务执行节点最终执行。 算法 PaddleDTX中的算法，一般指的是经过分布式改造的机器学习算法，即联邦学 习算法。 目前开源了纵向联邦学习算法，包括多元线性回归和多元逻辑回归。 训练样本和预测数据集 PaddleDTX中的训练样本和预测数据集都是以文件的形式存储于中心化存储网 络，在发布训练任务或者预测任务的时候，由计算需求节点指定。 模型 算法和训练样 时，可获得一系列评估指标，展示训练效果变化趋势。 正在进行中 我们即将支持的主要功能如下: 1. 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策 树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改 造； 3. 优化目前使用的加法同态算法Paillier的性能； 4. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现 情况，在文件分发时找到最优节点列表。 快速安装

Head，在维持精度的同时， 进一步降低了一般解耦头带来的额外延时开销。 ● 在训练策略上，我们采用 Anchor-free 无锚范式，同时辅以 SimOTA[2] 标签 分配策略以及 SIoU[9] 边界框回归损失来进一步提高检测精度。 2.1 Hardware-friendly 的骨干网络设计 YOLOv5/YOLOX 使用的 Backbone 和 Neck 都基于 CSPNet[5] 搭建，采用了多分 Decoupled Head 在 YOLOv6 中，我们采用了解耦检测头（Decoupled Head）结构，并对其进行了 精简设计。原始 YOLOv5 的检测头是通过分类和回归分支融合共享的方式来实现的， 而 YOLOX 的检测头则是将分类和回归分支进行解耦，同时新增了两个额外的 3x3 的卷积层，虽然提升了检测精度，但一定程度上增加了网络延时。 因此，我们对解耦头进行了精简设计，同时综合考虑到相关算子表征能力和硬件上计 结构图 2.3 更有效的训练策略 为了进一步提升检测精度，我们吸收借鉴了学术界和业界其他检测框架的先进研究进 展：Anchor-free 无锚范式 、SimOTA 标签分配策略以及 SIoU 边界框回归损失。 Anchor-free 无锚范式 YOLOv6 采用了更简洁的 Anchor-free 检测方法。由于 Anchor-based 检测器需 要在训练之前进行聚类分析以确定最佳 Anchor

紫顺 乐钦 洪晨 乔宇 武进 孝峰 俊浩等 1. 背景 在过去十年，机器学习在学术界取得了众多的突破，在工业界也有很多应用落地。美 团很早就开始探索不同的机器学习模型在搜索场景下的应用，从最开始的线性模型、 树模型，再到近两年的深度神经网络、BERT、DQN 等，并在实践中也取得了良好 的效果与产出。 本文将与大家探讨美团搜索与 NLP 部使用的统一在线预估框架 Augur 的设计思路、 TF-Serving/MLX 预估服务上； ● 线性模型、树模型：搜索场景下使用的特征相对较少，计算逻辑也相对简单，我 们将在构建的预估框架内部再构建起高性能的本机求解逻辑，从而减少 RPC。 这一套逻辑很简单，构建起来也不复杂，所以在建设初期，我们快速在主搜的核心业 务逻辑中快速实现了这一架构，如下图所示。这样的一个架构使得我们可以在主搜的 核心排序逻辑中，能够使用各类线性模型的预估，同时也可以借助公司的技术能力， Feature 的需求，用户还是只需 配置一个表达式，但是此表达式会去调用相应维度的 Augur 服务，获取相应 的模型和特征数据供主维度的 Augur 服务处理。虽然多了一层 RPC，但是相 对于纯线性的处理流程，分片异步后，还是有不少的性能提升。 美团搜索内部，已经通过 LocalModelFeature 的方式，实现了 BERT as a Fea- ture。在几乎没有新的使用学习成本的前提下，同时在线上取得了明显的指标提升。

�������� ��� �� DataLoaderIter ABCDataLoaderIter 四、应用：简单回归问题的实现（一） 1、定义问题 已知某类工业零件不同长与宽的产品数据集，求长与宽的关系。 2、宽与高的数据关系示意图： 宽 长 四、应用：简单回归问题的实现（二） 模型结构： class SampleModel(nn.Module): def __init__(self): Tensor.line(1, 1) def forward(self, x: nn.Tensor) -> nn.Tensor: out = self.line_layer(x) return out 线性回归后的结果 四、应用：简单分类问题的实现（一） 1、定义问题 100个二维数据点，一共分为3个类别，分别识别出他们的分类信息。 2、示例图 左侧为测试数据的样例（训练数据的分布与此类 似

for n := 0; n < size; n++ { tree.Put(n, n) } } }) } } 为什么插入的性能是线性的？红黑树的插入性能不是 O(log(n)) 吗？ 代码写错了……吧……？ name time/op RBTree_PutWrong/size-0-8 检验，直到找到能够使 p 值能 够满足显著性水平，宣称性能得到了提升。 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 机器过热 29 对结果进行回归，肉眼可见的性能下降 https://github.com/changkun/cgo-benchmarks/tree/master/syscall 总结 2020 © Changkun Ou · stash pop 恢复代码的修改内容，执行测试得到修改后的性能测试结果 ○ 使用 benchstat 对前后测量到的性能测量进行假设检验 ○ 验证结果有效性，例如确认结果的波动，比较随时间推移造成的性能回归等等 2020 © Changkun Ou · Go 夜读 · 对 Go 程序进行可靠的性能测试 进一步阅读的参考文献 ● https://dave.cheney.net/high-perfo

或者Laplacian SVM 强化学习- 通过观察来学习做成如何的动作, 算法：Q-Learning以及时间差学习 机器学习－ 方法及流程 输入特征选择 – 基于什么进行预测 目标 – 预测什么 预测功能 – 回归、聚类、降维... Xn -> F(xn) -> T(x) 机器学习－ 举例 机器学习－ 举例 如何让机器分辨出来他／她是谁 ？ 图像分析 – 输入特征选择 ->面部特征、发型、裙子、身高、手势… 的算法包括监督学习和无监督学习 适用非线性处理单元的多层次的特征提取和转换 基于对多个层的特征或者表象的学习，形成一个由低级 到高级的层次结构特征 传统的机器学习关注于特征工程,深度学习关注于端到 端的基于原始数据的学习 为什么需要深度学习？ 深度学习- 举例 深度学习 － 神经网络 是一种模仿生物神经网络(例如大脑)的结构和功能的计 算模型 是一种非线性统计性数据建模工具，对输入和输出间复

glmClassifier 开始定义 pipeline 输⼊入 299x299 保留留特性的同时限制处理理时间 内置模型 (特征提取) 2048 个特征的数组 (1, 2048) ⼴广义线性模型 (GLM) (2048, 1)，与特征点乘得到结果 发⽣生了了什什么 Turi Turi • 2013, 成⽴立 • 2016, Apple 以 2 亿美元收购 • 2017 Category) • 简单，⽆无脑，拖拽式得到可⽤用模型 • 对⼯工程师友好，可以在 client 本机编译 (下载更更新模型) 总结 ? • 只适⽤用于特定任务 (图⽚片分类/⾃自然语⾔言处理理/回归分析) • TuriCreate 只能有限扩展 (使⽤用第三⽅方模型, ⻛风格化图 ⽚片滤镜等) • ⽆无法处理理⾃自定义模型，或者更更⼀一般化的任务 ⼀一些资源 Awesome Core