Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • Doris 中的导入 LABEL 导入任务 的标识 查看对应 导入任务 的执行情 况 用户可以 自定义 防止用户 重复导入 同一批次 数据使用 相同的label Label • 为了保证At-Most-Once 语意， 用户同一批次数据需要使用相同的Label 03 Doris 中的导入 Prepared 事务和两阶段提交 • FE 充当协调者 • Prepare 阶段下发任务和写入数据 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 04 BI Application 数据加载 数据输出 数据查询 数据导入总览

第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil collection的缩写）。 Go官方设计和开发团队也维护着另外一个编译 器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用广泛度大不 如gc， 它的主要作用是做为一个参考，来保证gc的实现正确性。 目前两个编译 器的开发都很活跃，尽管Go开发团队在gc的开发上花费的精力更多。 gc编译器是Go官方工具链中一个组件。 Go官方工具链的使用将在下一篇文章中介 绍。 Go官方工具链1 第6章：基本类型和它们的字面量表示 24 uintptr、int以及uint类型的值的尺寸依赖于具体编译器实现。 通常地，在64 位的架构上，int和uint类型的值是64位的；在32位的架构上，它们是32位的。 编译器必须保证uintptr类型的值的尺寸能够存下任意一个内存地址。 一个complex64复数值的实部和虚部都是float32类型的值。 一个complex128 复数值的实部和虚部都是float64类型的值。

第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil collection的缩写）。 Go官方设计和开发团队也维护着另外 一个编译器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用广泛 度大不如gc， 它的主要作用是做为一个参考，来保证gc的实现正确性。 目前两 个编译器的开发都很活跃，尽管Go开发团队在gc的开发上花费的精力更多。 gc编译器是Go官方工具链中一个组件。 Go官方工具链的使用将在下一篇文章 中介绍。 Go官方工具链1 用4个字节。 uintptr、int以及uint类型的值的尺寸依赖于具体编译器实现。 通常地，在64 位的架构上，int和uint类型的值是64位的；在32位的架构上，它们是32位的。 编译器必须保证uintptr类型的值的尺寸能够存下任意一个内存地址。 一个complex64复数值的实部和虚部都是float32类型的值。 一个complex128复 数值的实部和虚部都是float64类型的值。

第37章：通道用例大全 第38章：如何优雅地关闭通道 第39章：其它并发同步技术 - 如何使用sync标准库包 第40章：原子操作 - 如何使用sync/atomic标准库包 第41章：Go中的内存顺序保证 第42章：一些常见并发编程错误 内存相关 第43章：内存块 第44章：关于Go值的内存布局 第45章：一些可能的内存泄漏场景 一些总结 第46章：一些简单的总结 第47章：关于Go中的nil collection的缩写）。 Go官方设计和开发团队也维护着另 外一个编译器，gccgo。 gccgo是gcc编译器项目的一个子项目。 gccgo的使用 广泛度大不如gc， 它的主要作用是做为一个参考，来保证gc的实现正确性。 目前两个编译器的开发都很活跃，尽管Go开发团队在gc的开发上花费的精力 更多。 gc编译器是Go官方工具链中一个组件。 Go官方工具链的使用将在下一篇文章 中介绍。 Go官方工具链1 字节。 uintptr、int以及uint类型的值的尺寸依赖于具体编译器实现。 通常地，在 64位的架构上，int和uint类型的值是64位的；在32位的架构上，它们是32位 的。 编译器必须保证uintptr类型的值的尺寸能够存下任意一个内存地址。 一个complex64复数值的实部和虚部都是float32类型的值。 一个complex128 复数值的实部和虚部都是float64类型的值。

首先，在运营配置上线前，通过测试用户的预览功能，可以预览上线后的实时效果。同时，通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次，在流程阶段，引入审核机制，通过视觉和内容两方面的审核，保证投放数据的准确性。 最后，在运营配置上线后，如果发现问题，可以通过快速回滚，最大限度地实现“止损”。 接口SDK化 接口SDK化 对于运营数据，无论是通过数据库的落地方案、还是通过分布式缓存的方案，都无法彻底解决服务中心化 数据层作为最底层的数据存储，其保存了最基本的运营后台数据、流程数据和线上数据。对持久化的数 据，我们采用MySQL进行存储；对于缓存数据，我们采用了Redis的解决方案。这样数据层形成基本的两 级存储结构：MySQL保证了数据的持久性，Redis保证了数据获取的速度。 这里我们对底层数据划分为三个不同域：后台数据，相当于草稿数据，运营人员所有的操作都记录在这 里；流程数据，运营人员操作完成后，提供发布流程，预览及审核都在流程数据里进行；线上数据，审核 时也解决了 服务间调用的网络时延问题。所有同步数据的网络调用都是通过后台线程异步完成，不会影响业务线程的 正常处理逻辑。 不过，SDK方案也引进了如下的新问题： 1. 数据时效性和一致性如何保证？ 2. SDK本地缓存如何监控？过期数据如何删除？ 3. SDK版本如何升级？ 为了解决数据的时效性和一致性问题，我们引入了监听更新机制，如下图所示： 运营人员在运营后台操作完成后，提交上

为解决这一问题，RepOpt 提出了一种基于优化器的重参数化设计（如下图 3 所 20 > 2022年美团技术年货 示），通过梯度掩码（Gradient Mask）的方式在网络训练反向传播的过程中加入先 验，保证了训练精度可达到 RepVGG 相近的水平，而网络结构则在训练和推理阶 段始终保持普通的 VGG 结构，这种训练方法请参考 RepOpt [3]。该工作中提出的 RepOpt-B1 网络模型，在浮点精度与 天都取在线同一时间段的数据集，得到 M 个验证集。第二种是 N-fold 天级采样验 证，类似 N-fold 交叉验证，我们取最后 N 天的每一天数据作为验证集，得到 N 个验 证集。这两种方法共同辅助模型离线效果的迭代，保证了我们在 B 榜上的鲁棒性。 （2）极值点问题优化和模型融合：由于 MAPE 对于极值较敏感，我们在标签、损失、 样本权重等不同方面分别进行多种不同处理，例如标签上进行 Log 变换和 Box-Cox 并灌库，在线查询 算法 < 95 Redis 获取子图 Embedding 参与后续计算。 基于子图拓展的长期行为模块如下图所示： 图 9 图联合训练离线在线示例 我们将整个过程分为三步，保证线上耗时不增加的核心在于 Step2 的子图拆分重构。 因为线上 Serving 过程中行为子图 Embedding 表示不会发生变化，因此使用子图查 询或聚合后查表，其结果是一致的。 ●

服务发现注册中心，在当前微服务体系下，是十分重要的组件，服务之间感知对方服务的当前可正 常提供服务的实例信息，必须从服务发现注册中心进行获取，因此对于服务注册发现中心组件的可 用性，提出了很高的要求，需要在任何场景下，尽最大可能保证服务注册发现能力可以对外提供服 务；同时 Nacos 的服务注册发现设计，采取了心跳可自动完成服务数据补偿的机制。如果数据丢 失的话，是可以通过该机制快速弥补数据丢失。 29 > Nacos 架构 的共识算法这里就不太合适了，因为强⼀致 性共识算法能否对外提供服务是有要求的，如果当前集群可用的节点数没有过半的话，整个算法直 接“罢工”，而最终⼀致共识算法的话，更多保障服务的可用性，并且能够保证在⼀定的时间内各 个节点之间的数据能够达成⼀致。 上述的都是针对于 Nacos 服务发现注册中的非持久化服务而言（即需要客户端上报心跳进行服务实 例续约）。而对于 Nacos 服务发现注册中的 Nacos 保障数据在各个节点之间的强⼀致性，故而针对此类型的服务 数据，选择了强⼀致性共识算法来保障数据的⼀致性。 从配置管理来看 配置数据，是直接在 Nacos 服务端进行创建并进行管理的，必须保证大部分的节点都保存了此配 置数据才能认为配置被成功保存了，否则就会丢失配置的变更，如果出现这种情况，问题是很严重 的，如果是发布重要配置变更出现了丢失变更动作的情况，那多半就要引起严重的现网故障了，因

Flutter 在鸿蒙上的适配 如前文所述，要完成 Flutter 在新系统上的移植，我们需要完整实现 Flutter 嵌入层 要求的所有子模块，而从能力支持角度，渲染、交互以及其他必要的原生平台能力 是保证 Flutter 应用能够运行起来的最基本的要素，需要优先支持。接下来会依次进 行介绍。 1. 渲染流程打通 我们再来回顾一下 Flutter 的图像渲染流程。如图所示，设备发起垂直同步（VSync） 对于事件的封装处理，可以复用 Android 已有逻辑，只需要关注鸿蒙与 Android 在 事件处理上的对应关系即可，比如触摸事件的部分对应关系： 10 > 2021年美团技术年货 3. 其他必要的平台能力 为了保证 Flutter 应用能够正常运行，除了最基本的渲染和交互外，我们的嵌入层还 要提供资源管理、事件循环、生命周期同步等平台能力。对于这些能力 Flutter 大多 都在嵌入层的公共部分有抽象类声明，只需要使用鸿蒙 交互是通过 package:js 进行接口调用，因此我们在公共逻辑处理层用 Dart 对齐了 相应的 API，详细架构图如下图所示： 请求库架构图 4.2 性能优化 常规的 Web 项目中，为了保证页面有更好的加载和渲染性能，在静态资源文件的处 理方面，我们需要做很多的工作，例如：资源文件 Hash 化、CDN 化、按需加载处 理等，这些可以通过 Webpack、Rollup 等构建工具进行预处理。但在

顺序消息的一种，正常情冴下可以保证完全的顺序消息，但是一旦収生通信异常，Broker 重启，由亍队列 总数収生发化，哈希叏模后定位的队列会发化，产生短暂的消息顺序丌一致。 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 顺序消息的一种，无论正常异常情冴都能保证顺序，但是牺牲了分布式 Failover 消息有序挃的是一类消息消费时，能挄照収送的顺序来消费。例如：一个订单产生了 3 条消息，分别是订单创 建，订单付款，订单完成。消费时，要挄照返个顺序消费才能有意丿。但是同时订单乀间是可以幵行消费的。 RocketMQ 可以严格的保证消息有序。 4.4 Message Filter  Broker 端消息过滤 在 Broker 中，挄照 Consumer 的要求做过滤，优点是减少了对亍 Consumer 无用消息的网络传输。 (1)、(2)、(3)、(4)四种情冴都属亍硬件资源可立即恢复情冴，RocketMQ 在返四种情冴下能保证消息丌丢，戒 者丢失少量数据（依赖刷盘方式是同步迓是异步）。 (5)、(6)属亍单点故障，丏无法恢复，一旦収生，在此单点上的消息全部丢失。RocketMQ 在返两种情冴下，通 过异步复制，可保证 99%的消息丌丢，但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点， 同步双

X=100 x=50 顺序1 顺序2 顺序3 非 预 期 状 态 goroutine 1 goroutine 2 Happens Before Happens Before关系是一种保证，如果a事件Happens Before b事件，那么b事件一定能观察到a事件的结果； In computer science, the happened-before is a relation Before关系不代表代码真实执行的时间； • 真实执行的时间不影响Happens Before关系； Go语言的Happens Before Go 中的 happens before 有以下保证（https://golang.org/ref/mem）： goroutine： a := 1 b := a c := b d := c print(d) → → → → channel： 开始发送 接收完成 其他的对于init函数，锁，协程，原子操作，sync包里的功能，还有许多保证，更详细可以看： https://golang.org/ref/mem https://go101.org/article/memory-model.html 消除数据竞争的原理 消除数据竞争，实质就是利用go提供的保证和传递性来建立事件之间的happens before关系。 a b c d go1