© XXX Page 1 of 11 curvefs对接s3方案设计（过程文档）© XXX Page 2 of 11 时间 修订人 修订内容 2021-05-20 胡遥 初稿 2021-07-20 胡遥 细化write和read流程 整体架构 整体思路 接口和关键数据结构 mds.proto client端数据结构 metaserver.proto space相关数据结构和proto

2D / 3D 游戏引擎： Egret Engine 轻量 APP 开发： 青雀平台 可视化开发环境：Egret Wing 开发者、渠道商和第三方服务商的服务平台 • TypeScript 简介 • TypeScript 开发环境 • 如何使用现有 JavaScript 库 超集 静态类型 JavaScript npm install typescript –g npm install

10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch

由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 1 PaddleDTX Documentation 1.2.1 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一方为任务执行节点，多个任务 执行节点组成一个 SMPC（多方安全计算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确 认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 计算需求节点（Requester）有训练模型和预测需求。 • 任务执行节点（Executor）拥有使用数据的权限，参与多方安全计算，进行模型训练和数据预测。 • 数据持有节点（DataOwner）是数据的归属方，有存储数据的需求。 • 存储节点（Storage Nodes）有丰富的闲置的存储资源，可以提供存储服务。 • 区块链节点构成区块链网络 (Blockchain Network)，基于不同的区块链框架，他们有不同的定义。 Documentation $ nohup ./xdb -c conf/config-dataowner.toml > dataowner.log & 注意：一般构建 PaddleDTX 网络至少需要两方参与，对应两个计算任务执行节点，每个任务执行 节点可以从一个或多个数据持有节点获取数据，这里为了说明方便启动一个数据持有节点，您也 可以根据实际需求自行启动多个数据存储节点和数据持有节点；配置中的

案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor Node) 数据持有节点(DataOwner Node) 存储节点(Storage Node) 区块链节点(Blockchain Node) Distributed 数据隐私保护 机器学习算法 纵向联邦学习 团队 我们的团队 参与开发 参与开发&测试 参考文献 参考文献 系统介绍 PaddleDTX，是一个基于去中心化存储的专注于分布式机器学习技术的解决方 案，攻克海量隐私数据的安全存储问题，并且实现多方数据的安全交换，助其 突破数据孤岛，共同建模，联合发挥数据的最大价值。 主要特征 PaddleDTX的主要特征如下： 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习 去中心化管理存储节点，支持无上限数据纳管 保证多方数据联合建模的全链路可信 架构概览 PaddleDTX由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一 方为任务执行节点，多个任务执行节点组成一个SMPC（多方安全计算）网 络。计算需求节点将任务发布到区块链网络，任务执行节点确认后执行任务。 数据持

线性回归-概念 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测 的线性模型，其目的是找到一条直线或 者一个平面或者更高维的超平面，使得 预测值与真实值之间的误差最小化。 6 线性回归-符号约定 建筑面积 总层数 楼层 实用面积 房价 143.7 31 10 105 36200 162.2 31 8 118 37000 199.5 10 10 170 错误程度，损失函数值越小，模型就越好。 常用的损失函数包括：0-1损失函数、平方 损失函数、绝对损失函数、对数损失函数等 。 代价函数(Cost Function)度量全部样本集的 平均误差。常用的代价函数包括均方误差、 均方根误差、平均绝对误差等。 目标函数(Object Function)代价函数和正则 化函数，最终要优化的函数。 备注：损失函数的系数1/2是为了便于计算，使对平方项求导后的常数系数为1， L1的功能是 使权重稀疏 在损失函数 中加入权值 向量w的平 方和，L2的 功能是使权 重平滑。 29 4. 回归的评价指标 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 30 回归的评价指标 其中，?(?) 和ෝ?(?)分别表示第?个样本的真实值和预测值，? 为样本个数。 均方误差（Mean Square Error,MSE） MSE =

案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor Node) 数据持有节点(DataOwner Node) 存储节点(Storage Node) 区块链节点(Blockchain Node) Distributed 数据隐私保护 机器学习算法 纵向联邦学习 团队 我们的团队 参与开发 参与开发&测试 参考文献 参考文献 系统介绍 PaddleDTX，是一个基于去中心化存储的专注于分布式机器学习技术的解决方 案，攻克海量隐私数据的安全存储问题，并且实现多方数据的安全交换，助其 突破数据孤岛，共同建模，联合发挥数据的最大价值。 主要特征 PaddleDTX的主要特征如下： 支持多个学习过程并行运行的多方安全计算框架，集成多种横向联邦学习 去中心化管理存储节点，支持无上限数据纳管 保证多方数据联合建模的全链路可信 架构概览 PaddleDTX由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一 方为任务执行节点，多个任务执行节点组成一个SMPC（多方安全计算）网 络。计算需求节点将任务发布到区块链网络，任务执行节点确认后执行任务。 数据持

针对特征的处理逻辑，我们抽象出两个概念： Operator：通用特征处理逻辑，根据功能的不同又可以分为两类： ● IO OP：用处理原始特征的获取，如从 KV 里获取数据，或者从对应的第三方 服务中获取数据。内置批量接口，可以实现批量召回，减少 RPC。 ● Calc OP：用于处理对获取到的原始特征做与模型无关的逻辑处理，如拆分、 判空、组合。业务可以结合需求实现特征处理逻辑。 抽取完后，会对特征做一些通用的处理逻辑；而后，我们会根据模型的需求进行二次 变换，并将最终值输入到模型预估服务中。如下图所示： 4.1.2 特征计算 DSL 有了 Operator 的概念，为了方便业务方进行高效的特征迭代，Augur 设计了一套弱 类型、易读的特征表达式语言，将特征看成一系列 OP 与其他特征的组合，并基于 Bison&JFlex 构建了高性能语法和词法解析引擎。我们在解释执行阶段还做了一系 Doc 加载阶段会对 Doc 列表进行分片，并发完成 特征的加载，并且各分片在完成特征加载之后就进行打分阶段。也就是说，打分阶段 本身也是分片并发进行的，各分片在最后打分完成后汇总数据，返回给调用方。 期间 还会通过异步接口将特征日志上报，方便算法同学进一步迭代。 在这个过程中，为了使整个流程异步非阻塞，我们要求引用的服务提供异步接口。 若部分服务未提供异步接口，可以将其包装成伪异步。这一套异步流程使得单机

由多方安全计算网络、去中心化存储网络、区块链网络构建而成。 1 PaddleDTX Documentation 1.2.1 1.1 多方安全计算网络 有预测需求的一方为计算需求节点。可获取样本数据进行模型训练和预测的一方为任务执行节点，多个任务 执行节点组成一个 SMPC（多方安全计算）网络。计算需求节点将任务发布到区块链网络，任务执行节点确 认后执行任务。数据持有节点对任务执行节点的计算数据做信任背书。 计算需求节点（Requester）有训练模型和预测需求。 • 任务执行节点（Executor）拥有使用数据的权限，参与多方安全计算，进行模型训练和数据预测。 • 数据持有节点（DataOwner）是数据的归属方，有存储数据的需求。 • 存储节点（Storage Nodes）有丰富的闲置的存储资源，可以提供存储服务。 • 区块链节点构成区块链网络 (Blockchain Network)，基于不同的区块链框架，他们有不同的定义。 Documentation $ nohup ./xdb -c conf/config-dataowner.toml > dataowner.log & 注意：一般构建 PaddleDTX 网络至少需要两方参与，对应两个计算任务执行节点，每个任务执行 节点可以从一个或多个数据持有节点获取数据，这里为了说明方便启动一个数据持有节点，您也 可以根据实际需求自行启动多个数据存储节点和数据持有节点；配置中的

模型选择、欠拟合和过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 iii 4.4.1 训练误差和泛化误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 4.4.2 模型选择 . . . . . 什么做出某些算法决策的讨论。虽然一些互动资源已经零星地出现以解决特定主题。例如，在网站Distill1上 发布的引人入胜的博客帖子或个人博客，但它们仅覆盖深度学习中的选定主题，并且通常缺乏相关代码。另 一方面，虽然已经出现了几本教科书，其中最著名的是 (Goodfellow et al., 2016)（中文名《深度学习》），它 对深度学习背后的概念进行了全面的调查，但这些资源并没有将这些概念的描述与这些概念的代码实现结合 组合在单节中。而一些想 法可能最好是通过连续允许几个模型来传授。另一方面，坚持“一个工作例子一节”的策略有一个很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我们将在稍后解释背景）。例如，在充分解释随机梯度下降为什么有用或为什么有效之前，我们可