第三届中国 Rust 开发者大会 安全高效的二进制序列化 Daniel Wang @ NEAR Borsh • 运行、编码效率 • 确定性 • 跨平台兼容性 二进制序列化的问题 Binary Object Representation Serializer for Hashing • 字节级别确定性 • 执行速度快 Borsh • 轻量级 • 每一个对象与其二进制表示之间都存在一个双射映射

代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源 / 业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 / 子环境免打扰，独立完成验证工作 自助验证更高效：自动化工作流 + 云上环境，高效验证调试 安全发布有信心： 一个平台完成日常 90% 工作，开发自助发布 需求研发总耗时降低 30% 需求迭代周期缩短 1-5 倍 解放开发，专注编码 更多的架构和技术提升 测试 效率和质量难以平衡：

先水平。” 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识 发现的重要需求。最终获得国内外授权发明专利 43 项， CCF -A 复杂、潜在关系推导和挖掘  为已有的分析模型增加“关系特征”维 度 客户贡献度 客户信用分 客户忠诚度 客户欺诈分 客户风险度 违约概率 客户资质 … 集团关系 社群关系 欺诈团伙 担保关系 资金圈 / 链 …  设别出带有某种共同特征 的企业或个人群体 舆情传导 营销传导 风险传导 …  计算某个事件在关联的企业、个人 之间的传递过程和传递概率 图深度学习及其应用场景 图嵌入 • Technology Landscape 2020 • 图数据库 • 图数据建模 • 图计算引擎 • 图数据集成 • 可视化分析 • 知识图谱解决方案 • 图查询语言 • 欺诈检测 • 网络安全分析 • 社交网络分析 • BI 工具 • 图分析工具集 • 图咨询服务 Source ： Graph Aware 图数据库发展趋势 AtlasGraph 研发背景 • 业务对大图分析的诉求（千亿点、万亿边）

释放云基建能力：链接任何云 及自建资源（容器、主机、车 机、端等），释放云原生价值 和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 DevOps 方案对比： 现存方案 典型代表 方案特点分析 Zadig 优势 传统 Jenkins 方案 GitLab + Jenkins + 脚本化 运行效率低，管理维护成本高 方案局限性大，安全性风险高 无法支持敏捷交付模式 支持从需求到发布全流程敏捷交付。尤其面向 多服务并行部署发布，云原生构建环境和运行 环境，基础设施对接及企业级 SSO/ 权限管理 等 运维管理类平台 蓝鲸 Rainbond 发，测试，运维的云原生一体化技术底座支撑 云厂商 DevOps 平台 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库

C++ 的 解构函数是显式的，离开作用域自动销毁，毫不含 糊（有好处也有坏处，对高性能计算而言利大于 弊） 如果没有解构函数，则每个带有返回的分 支都要手动释放所有之前的资源 : RAII ：异常安全（ exception-safe ） C++ 标准保证当异常发生时，会调用已创建对象的解构函数 。 因此 C++ 中没有（也不需要） finally 语句。 如果此处不关闭，则可等 待稍后垃圾回收时关闭。 14f) 不会出错，但是 int{3.14f} 会出错，因为 {} 是非强制转换。 2. Pig(“ 佩奇” , 3.14f) 不会出错，但是 Pig{“ 佩奇” , 3.14f} 会出错，原因同上，更安全。 3. 可读性： Pig(1, 2) 则 Pig 有可能是个函数， Pig{1, 2} 看起来更明确。 • 其实谷歌在其 Code Style 中也明确提出别再通过 () 调用构造函数，需要类型转换时应该 如果需要允许用户拷贝你的 Vector 类对象 ，我们还是需要实现一下的。 • 发现了吗？其实不管是 size/resize 这样的 get/set 模式也好；自定义的拷贝构造函数 也好； RAII 保证异常安全也好；都是在为 面向对象思想的“封装：不变性”服务。 • 即：保证任何单个操作前后，对象都是处于 正确的状态，从而避免程序读到错误数据 （如空悬指针）的情况。 三五法则：拷贝赋值函数 •

// 超级追求性能的极客 c_str 和 data 的区别 • const char * 可以隐式转换为 string （为了方便） • string 不可以隐式转换为 const char * （安全起见） • 如果确实需要从 string 转换为 const char * ，请调用 .c_str() 这个成员函数 。 字符串的连接（ + 运算符） • C 语言规定，双引号包裹的字符串是 const 才行。 • 可以用 string(“hello”) 这种形式包裹住每个字符串常量，这样就方便用 + 了 。 • 初学者建议每个字符串都用 string(“...”) 这种形式写， C 语言字符串不安全。 • “hello” + “world” // 错误 • string(“hello”) + “world” // 正确 正确： C++14 新特性：自定义字面量后缀 • 不少同学就觉得这样好麻烦，其他语言都是直接 “ hello” 就是字符串类 型， C++ 还得套一层壳 string(“hello”) 才能变成安全封装的类型，才能用他 的成员函数。 • 因此， C++14 引入了一项缓解“键盘压力”的新特性： • 写 “ hello”_s 就相当于写 operator“”_s(“hello”, 5) ，就相当于

完毕后才去认领下一个任务，从而即使每个任务 工作量不一也能自动适应。 • 这种技术又称为线程池（ thread pool ），避免了 线程需要保存上下文的开销。但是需要我们管理 一个任务队列，而且要是线程安全的队列。 struct Task { int x0, y0; int nx, ny; }; std::queue q; 1 2 3 4 解决 3 ：每个线程一个任务队 运算符访问当前指 向的元素。 可安全地被多线程并发访问 • 除了内存不连续、指针和迭代器不失效的 特点， tbb::concurrent_vector 还是一个多 线程安全的容器，能够被多个线程同时并 发地 grow_by 或 push_back 而不出错 。 • 而 std::vector 只有只读的 .size() 和 [] 运算符是安全的，且不能和写入的 push_back push_back 动态追加数据 筛选出所有大于 0 的 sin(i) 值 并行筛选 1 （张心欣犯过的错） 利用多线程安全的 concurrent_vector 动态追加数据 基本没有加速，我猜想 concurrent_vector 内部可能 用了简单粗暴的互斥量，只保证了安全，并不保证高 效 加速比： 1.32 倍 并行筛选 2 先推到线程局部（ thread-local ）的 vector

如果说 int & 相当于 int * ，那么 int const & 就相当于 int const * 。 • const 修饰符的存在，使得 ref 不能被写入（赋值）。 • 这样的好处是更加安全（编译器也能够放心大胆地做自动优化）： 自动类型推导：定义引用（ auto & ） • 当然， auto 也可以用来定义引用，只需要改成 auto & 即可： 自动类型推导：定义常引用（ auto 之外还可以用 *ret 获 取 optional 容器中的值，不过他不会 去检测是否 has_value() ，也不会抛出 异常，更加高效，但是要注意安全。 • 请确保在 has_value() 的分支内使用 *ret ，否则就是不安全的。 • 如果 optional 里的类型是结构体，则 也可以用 ret->xxx 来访问该结构体的 属性。 optional ： operator 的区别在于他的 对象存储在栈上，效率更高。 variant ：安全的 union ，存储多个不同类型的值 • 有时候需要一个类型“要么存储 int ，要么存储 float” ，这时候就可以用 std::variant 。 • 和 union 相比， variant 符合 RAII 思想，更 加安全易用。 • 给 variant 赋值只需用普通的 = 即可。

set_value() 不接受参数，仅仅作为同步用， 不传递任何实际的值。 第 3 章：互斥量 多线程打架案例 • 两个线程试图往同一个数组里推数据。 • 奔溃了！为什么？ • vector 不是多线程安全（ MT-safe ）的容 器。 • 多个线程同时访问同一个 vector 会出现 数据竞争（ data-race ）现象。 std::mutex ：上锁，防止多个线程同时进入某一代码段 • 里的 unlock() 永远得不到调用。 解决 1 ： other 里不要再上锁 • 遇到这种情况最好是把 other 里的 lock() 去掉，并在其文档中说明：“ other 不是线 程安全的，调用本函数之前需要保证某 mutex 已经上锁。” 解决 2 ：改用 std::recursive_mutex • 如果实在不能改的话，可以用 std::recursive_mutex try_lock_for() 的话。 第 5 章：数据结构 案例：多线程环境中使用 std::vector • 刚才说了， vector 不是多线程安全的容器 。 • 多个线程同时访问同一个 vector 会出现 数据竞争（ data-race ）现象。 封装一个线程安全的 vector • 因此，可以用一个类封装一下对 vector 的访问，使其访问都受到一个 mutex 的 保护。 • 然而却出错了：因为

serde + arrow taosX - 数据汇聚 CONTENTS 自 我 介 绍 T D e n g i n e t a o s X R u s t 使 用 Why Rust ? • 安全性 • 高性能 • 跨平台兼容 • 强大的类型系统和抽象表达能力 • 优秀的 Rust 生态和开发工具链 • C FFI 互操作能力 • async/await 异步编程 Rust - Crates Tokio - Notes • 使用非阻塞或并发 / 异步数据结构 • 使用异步锁和异步 Channel 。 • 使用 spawn_blocking 提交耗时任务 • C FFI 调用时，要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信，降低锁使用范围。 Tokio - Graceful Stop • futures::future::Abortable 可用于短路一个 stream 信号，可用于最终程序退出时的取 消操作。 • 谨慎处理任务中 channel 的结束信号。 • cancel vs. abort ： Cancel 处理按预期退出， Abort 要保证安全退 出。 • 处理非正常退出（断电、 kill -9 等），保证系统安全性。 Thank you ！ Tokio - Graceful Stop • 将任务恢复作为优雅退出的目标之一。