appspot.com/github.com/huangnauh/slides/upone.slide#3 24/36 高可用 通过 Raft 分布式一致性协议实现高可用 hashicorp/raft (https://github.com/hashicorp/raft) 领导选举: 心跳机制来触发选举, term 充当逻辑时钟的作用 日志复制: 领导者把一条指令(能被复制状态机执行)附加到日志中，发起附加条目 slide#3 25/36 raft 领导选举 Image credit: the Raft paper (https://raft.github.io/raft.pdf) 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 26/36 raft 日志复制 Image Image credit: the Raft paper (https://raft.github.io/raft.pdf) 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 27/36 raft 可视化 Image generated by RaftScope

自主研发Gardener  –  Seed  作业调度系统  服务弹性伸缩  自主研发Lighthouse智能服务伸缩模型  分布式高可用控制系统   基于Raft/Chubby算法和GOSSIP协议的分布式高可用控 制系统与服务发现  智能模板和堆叠式组件管理系统   深度优化和预置的多层堆叠式开源软件发布和管理系统， 可以在保障版本统一的条件下，智能推送和维护应用模板

● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Raft Raft Raft TiDB TiDB TiDB ... ... ... ... ... Placement Driver (PD) Control flow: Balance / Failover Physically, data is stored in RocksDB ● We build a Raft layer on top of RocksDB ○ What is Raft? ● Written in Rust! TiKV API (gRPC) Transaction MVCC Raft (gRPC) RocksDB Raw KV API (https://github.com/pingc Region 4:[p-t] Raft group Storage stack 2/2 ● Data is organized by Regions ● Region: a set of continuous key-value pairs RPC (gRPC) Transaction MVCC Raft RocksDB ··· Raft ● 复制/分裂/负载均衡 Region

MongoDB ... Google Spanner Google F1 TiDB RDBMS NoSQL NewSQL Architecture TiKV TiKV TiKV TiKV Raft Raft Raft TiDB TiDB TiDB ... ... Placement Driver (PD) Control flow: Balance / Failover Metadata / start_key, end_key) (-∞, +∞) Sorted Map RPC (gRPC) Transaction MVCC Raft RocksDB Node B Node C Node A Raft Raft Raft 256MB PD - Overview TiKV TiKV TiKV TiKV … ... TiKV Cluster PD Node/Region Command TiKV Client Route Info ● Meta data management ● Load balance management TiKV - Multi-Raft Multiple raft groups in the cluster, one group for each region. Client Store 1 Region 1 Region 3 Region

丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于 Raft 算法，多 主多从，内建⾼高可⽤用） 特点 • 具有多种不不同的数据结构可⽤用，其中包括：字符串串、散列列、列列表、集合、有序集合、位图 (bitmap）、HyperLogLog、地理理坐标（GEO） 丰富的附加功能：事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式（AOF、RDB、 RDB+AOF 混合） • 强⼤大的多机功能⽀支持：主从复制（单主多从）、Sentinel（⾼高可⽤用）、集群（基于 Raft 算法，多 主多从，内建⾼高可⽤用） • 拥有⽆无限可能性的扩展模块系统：神经⽹网络、全⽂文搜索、JSON 数据结构等等。 数据结构 data structures 索引 0 1 2 3

zookeeper: getwatch etcd: watch after index ? how to choose index? what if index is far from current raft index? out of date zookeeper vs etcd RebornDB的getwatch实现 让client持有状态 zookeeper vs etcd RebornDB临时节点实现

雨痕(review第二章) 授权许可 授权许可 1 除特别声明外，本书中的内容使用CC BY-SA 3.0 License（创作共用 署名-相同方式共享3.0许可协议）授权，代码 遵循BSD 3-Clause License（3项条款的BSD许可协议）。 开始阅读 开始阅读 开始阅读 2 Copyright (c) 2012, AstaXie and The Contributors 一个Web服务器也被称为HTTP服务器，它通过HTTP协议与客户端通信。这个客户端通常指的是Web浏览器(其实手机端 客户端内部也是浏览器实现的)。 Web服务器的工作原理可以简单地归纳为： 客户机通过TCP/IP协议建立到服务器的TCP连接 客户端向服务器发送HTTP协议请求包，请求服务器里的资源文档 服务器向客户机发送HTTP协议应答包，如果请求的资源包含有动态语言的内容，那么服务器会调用动态语言 描述一个网络上的资源, 基本格式如下 schema://host[:port#]/path/.../[?query-string][#anchor] scheme 指定低层使用的协议(例如：http, https, ftp) host HTTP服务器的IP地址或者域名 port# HTTP服务器的默认端口是80，这种情况下端口号可以省略。如果使用了别的端口，必须指明，例如

6 • 升级成本高 • 业务解耦 • 平滑升级 • 异构语言治理 • 异构语言治理能力弱 • SDK 版本不统一 应用 SDK 服务路由 负载均衡 通信序列化协议 sidecar 应用 SDK 通信序列化协议 业务逻辑 服务路由 熔断限流 进程通信 熔断限流 负载均衡 Service Mesh 落地实践 7 基础设施 MOSN RPC MQ Actuator 业务逻辑 RPC SDK 通信序列化协议 RPC SOFA-RPC 基础设施 新的挑战 2：异构语言接入成本高 12 MOSN NodeJS 业务逻辑 RPC SDK 通信序列化协议 RPC Cache MQ Config SOFA-RPC Redis SOFA-MQ SOFA- config 基础设施 X SDK 通信序列化协议 新的挑战 2：异构语言接入成本高 13 MOSN NodeJS 业务逻辑 X SDK 通信序列化协议 RPC Cache MQ Config python 业务逻辑 X SDK 通信序列化协议 go 业务逻辑 X SDK 通信序列化协议 C++ 业务逻辑 X SDK 通信序列化协议 SOFA- RPC Redis SOFA-MQ SOFA-config 基础设施 14 Multi-Runtime

⾝份隐私保护 数据隐私保护 共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ ⾝份隐私保护 数据隐私保护 共识层 分布式⼀致性算法 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 轻节点 轻客户端 共识节点 节点数量有限，参与交易的共识，存储全 量数据，节点间采⽤GRPC全连接⽅式互联 ⾮共识节点 节点数量较多，不参与共识，存储全量数 据，节点间使⽤gossip协议同步数据 轻节点 节点数量较多，存储部分数据， ⽤于交易的证明验证 轻客户端 节点数量较多，⼀般为物联⽹终端 设备，主要进⾏数据的可信采集 「多��异构并⾏区��架构模型」 17 趣链科技

⽐比较排序 混淆电路路 可信执⾏行行环境 专 ⽤用 算 法 通 ⽤用 框 架 加解密 伪随机函数 ⽀支 撑 技 术 哈希 秘密分享 秘钥交换 不不经意传输 差分隐私 OPRF协议 ⿊黑名单匹配 ⾦金金融反欺诈 联合征信 应 ⽤用 同态加密 算法体系 隐私计算算法体系 03 构建隐私计算算 法框架的实践 趣链科技版权所有©2016 – 2021 13 隐私集合求交算法示例例 声明算法实例例的配置 通⽤用流程的回调函数 按照隐私计算中的⻆角⾊色 配置元函数列列表 由于算法的⼀一部分逻辑是以独⽴立的函数存在 可以在框架中进⾏行行⽅方便便的复⽤用，并可以抽出 ⼀一些常⽤用的基础协议，像乘法三元组碎⽚片⽣生 成，乘法三元组碎⽚片协助计算碎⽚片乘法等 趣链科技版权所有©2016 – 2021 21 隐私计算算法框架-manager 实现算法暴暴露露的调⽤用接⼝口 通过go的init函数 趣链科技版权所有©2016 – 2021 32 隐私计算算法框架-⼦子协议嵌套调⽤用 ⼦子协议的参与⽅方列列表 发起⽅方设置输⼊入的回调函数 指定参与⽅方的⼦子协议加⼊入的元函数 参与⽅方设置输⼊入的回调函数 框架⾃自动注⼊入⼦子协议发起⽅方的接⼝口 框架在初始化扫描到时，会将该元函数进⾏行行标记 框架⾃自动注⼊入⼦子协议参与⽅方的接⼝口 框架在初始化扫描到时，会将该元函数进⾏行行标记