使用gRPC go实现 基于Topic的高效消息订阅发布模型 姓名 张凯 中国电子云 目 录 gRPC go 介绍 01 gRPC四种通信模式及落地场景 02 根据proto生成go桩代码 03 订阅者动态注册 04 发布者消息推送 05 现场案例演示 06 gRPC go介绍 gRPC是什么？ 01. 副标题 开篇思考几个问题 01. 副标题 gRPC介绍 Web开发 基于通信模式如何落地？ 01. 副标题 流式传输 基于通信模式如何落地？ 01. 副标题 以及，本次分享的 “ ” 基于Topic消息发布订阅 基于Topic的消息发布模型简介 01. 副标题 基于Topic的消息发布模型简介 01. 副标题 BRIAN KERNGHAN service PubSubService { rpc Publish(PublishRequest) 服务器和客户端的接口代码。  --go_out=.: 类似地，这个选项指定了非 gRPC 相关的 Protocol Buffers 消息结构体等 Go 语言代码的输出目录， 同样为当前目录。protoc-gen-go 插件会处理 .proto 文 件中的消息定义并生成对应的 Go 结构体。 订阅者动态注册 01. 副标题 type subscriber chan interface{}

7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 1/22 基于amqp实现的golang消息队列 MaxQ 2017-07-01 张培培 饿了么－基础框架组 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 2. IPC消息队列 3. AMQP协议 4. MaxQ架构模型 5. MaxQ相关特性 6. 使用场景和案例 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 3/22 1. 队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ 生产者消费者 通信方式 存储方式 堆积能力 消息可靠性 生产消费关系 Pull/Push 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168.10.11:3999/maxq.slide#1 5/22 2. IPC消息队列 跟消息队列相比，有哪些共性？ 7/1/2017 基于amqp实现的golang消息队列MaxQ http://192.168

的Buoyant 公司提出 服务网格是一个基础设施层，用于处理服务间通信。云原生应用有着复杂的服务拓扑，服 务网格负责在这些拓扑中实现请求的可靠传递。在实践中，服务网格通常实现为一组轻量 级网络代理，他们与应用程序部署在一起，而对应用程序透明。 Service Mesh 的初衷 5 图片来源： https://new.qq.com/omn/20190806/201908 06A0SM4Q00 基础设施 MOSN RPC MQ Actuator Cache Config 鉴权 配置 Java/NodeJS/C++/… App P a a S 降级限流 流量镜像 … 消息 缓存 8 事情没有那么 简单 新的挑战 1：应用跟基础设施强绑定 9 MOSN App 业务逻辑 RPC SDK port1 bolt SOFA-RPC 基础设施 RPC Service Mesh vs Runtime 18 低 能力丰富度 Service Mesh Runtime 分布式能力原语合集 定位 具有明确语义的 API 交互方式 通信协议 网络代理 定位 流量拦截 交互方式 私有协议 通信协议 高 能力丰富度 Http/gRPC 标准协议 19 Dapr Dapr 20 • 提供多种分布式能力 • 对接了丰富的基础组件

隐私计算算法框架-⽹网络消息处理理 由于元函数的⼊入参中包含由其他参与⽅方发送来的数据，框架需要实现⾃自动将收到的消息 反序列列化并缓存，否则⽆无法进⼊入到元函数调度流程注并⼊入到元对应函数的⼊入参中 趣链科技版权所有©2016 – 2021 28 隐私计算算法框架-⾃自动序列列化⽹网络消息 将reflect.TypeOf(data).String()作为消息体类型 将消息序列列化后记录消息类型和序列列化⽅方式包装 隐私计算算法框架-⾃自动序列列化⽹网络消息 根据发送消息类型⾃自动选择序列列化 ⽅方式（⾃自定义，protobuf，json） 趣链科技版权所有©2016 – 2021 30 隐私计算算法框架-⾃自动反序列列化⽹网络消息 根据消息体类型，找到框架初始化记录的对应reflect.Type 趣链科技版权所有©2016 – 2021 31 隐私计算算法框架-⾃自动反序列列化⽹网络消息 通过反射构建消息结构体 转为interface进⾏行行反序列列化

go-proxy & private modules • GOPROXY: proxy列表 • GOPRIVATE: 私有module列表，前缀模糊匹配 • GONOPROXY: 不需要proxy代理的module列表 • GONOSUMDB: 不需要使用公共checksum库(sum.golang.org)检查的module列表 • GOINSECURE: 可以通过HTTP获取的module列表 禁用module模式，使用GOPATH模式 • auto: go.mod存在或者任意的父目录存在，启用module模式 go-proxy & private modules • 代理所有的module • 混合代理 • 直接访问私有库 • 实践中 创建一个项目 • 创建go.mod • go mod init: 如果在GOPATH下创建 • go mod init: 如果在GOPATH

有controller。 - f.SetDownstreamSendFunc()【7】云端消息同步到边缘 -> pkg/globalmanager/controllers/lifelonglearning/downstream.go - f.SetUpstreamHandler()【8】边缘消息同步到云端 -> pkg/globalmanager/controllers/lifel client，Controller 会监听Sedna CR 增删改查的变化，并 执行对应的处理逻辑。 • 初始化UpstreamController，用于处 理边缘LC上传的消息 • 针对每个特性（协同推理、终身学习 等），绑定对应的消息处理函数 【4】CRD client初始化 // New creates a new LifelongLearningJob controller that keeps = podInformer.Lister() jc.podStoreSynced = podInformer.Informer().HasSynced return jc, nil } 【5】消息处理初始化 // syncEdgeUpdate receives the updates from edge and syncs these to k8s. func (uc *UpstreamController)

典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 典型共识算法 新型共识算法 合约层 智能合约脚本 合约执⾏引擎 分布式应⽤DApp ⽹络层 P2P⽹络 区块链⽹络模型 区块链⽹络协议 扩 展 层 扩展操作 跨链协议 链上链下计算 预⾔机 扩展组件 消息队列MQ 证书管理 测试框架 治理层 权限体系 治理模型 区块链审计 BaaS运维治理 应⽤层 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 区块链平台关键技术-网络流控 提供交易拦截、消息分发、带宽限流等多维度⽹络流量控制服务，在请求激增场景下保证系统的稳定运⾏， 提⾼系统可⽤性 功 能 特 性 多维⽹络流控 节点⼊⼝ （JSON-RPC层） 核⼼模块 （共识、执⾏等） 节点出⼝ 交易拦截 消息分发 带宽限流 客户端 其他节点 节点间⽹络通信 （传递共识消息等） 系统外部 系统内部 交易拦截器限流

Dive into NSQ 舜飞 - 陈冶 消息队列服务 • ⾯向跨进程/跨服务器通讯的组件 • 异步通信，将可并⾏化处理的同步操作解耦 使⽤案例 ⼴告点击数统计 Web Service MySQL User Click User Click User Click Stateless Stat Service Stateless 使⽤案例 ⼴告点击数统计 Web stream computing Msg 使⽤需求 • 数据缓冲，提⾼可⽤性 ，缓冲服务故障 • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 使⽤案例 ⼴告点击数统计 Web Service MySQL cluster User Click User Click User Click Stateless Stat • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 • MQ：分布式部署，排除⾃⾝单点故障 使⽤需求 • 数据缓冲，提⾼可⽤性 ，缓冲服务故障 • 数据⼴播，分发给多个服务 • 负载均衡，提⾼消费者的扩展性 • 消费反馈，确保消息不丢失 • MQ：分布式部署，排除⾃⾝单点故障 • MQ：具备横向扩展性，排除性能瓶颈

周洋 � � 部⻔门： 360⼿手机助⼿手 Weibo: @johntech-o Date: 2015.04.25 go语⾔言并发编程实践 以360消息推送系统为例 如何应对的？ go语⾔言在基础服务开发领域的优势？ 我遭遇了哪些挑战？ ⺫⽬目录 具有go特⾊色的运维 在⾼高并发，通信交互复杂，重业务逻辑的分布式系统中， Go语⾔言优势体现在：开发体验好 运维管理的go语⾔言编写的常驻service服务实例接近3000个。 业务场景多样： ⽀支持聊天场景业务，稳定⽀支持多款聊天业务app 单通道多app复⽤用 上⾏行通道，回调⽀支持 对智能硬件产品，提供定制化消息推送与转发服务 性能满⾜足需要： 线上单机最⾼高160w⻓长连接 （24核 E5-2630 @ 2.30GHz 64G内存 ） qps在2~5w（取决于协议版本，业务逻辑，接⼊入端⺴⽹网络状况） ） 测试环境，可以通过300w⻓长连接压测（⺴⽹网络,连接稳定,⽆无带宽限制,实际可以更⾼高 ,决定于⼲⼴广播时候业务内存开销的cpu消耗带来的⼼心跳或者业务延时能否接受） 以360消息推送系统为例 ⾼高并发、通信交互复杂 Dispatcher Service Room Service Proxy Service Register Service Saver

2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 7/36 消息交互 upone 通过 /api/v1/scheduler (/api/v1/scheduler) 和 mesos master 完成交互 2017/8/3 基于 mesos 的容器调度框架 http://go-talks 8/36 订阅 通过 SUBSCRIBE 消息, 开启一个长链接来订阅事件 (Event), 常用事件类型： 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 9/36 OFFERS 事件处理 ACCEPT 消息： 接受此 o�er， 包括启动任务，预留资源等调度操作 包括启动任务，预留资源等调度操作 DECLINE 消息： 明确拒绝此 o�er Filter : 可以设定资源的拒绝时间， 默认是 5s REVIVE 消息 ： 取消之前设定 �lter 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 10/36 UPDATE