Java Chassis通信处理详解 通信优化实践 议题  问题不挑战  整体线程模型  Consumer  Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 业务线程 Eventloops Executor 线程 …… 线程 队列 Executor 线程 …… 线程 队列 …… Consumer 消费端，主要需要处理的问题是如何更 高效地将请求推送到对端去，然后拿到 应答信息。 透明RPC Consumer业务线程 Consumer Eventloop 连接 业务线程 hello 业务线程 Socket.write(composite buffer) Producer  丌同于消费者，生产者主要的工作就是等待消费者 的请求，在处理之后，返回应答 在这一端我们更加关注：“如何高效地接收和处理 数据”这件事情  同步模式下，业务逻辑不IO逻辑分离，且根据 “隔离仓”原则，为了保证整个系统更加稳定和高 效地运行，业务逻辑本身也需要在丌同的隔离的区

archive是否该内容 请求有处理记录 6. 如有处理记录，Manager将历史处理结果 直接返回给用户 7. 无处理记录，Manager从Bulletin board 获取有能力匹配人员的联系方式 8. Manager将请求发送给符合条件的 Worker/Beekeeper 9. Worker/Beekeeper处理请求并返回 处理结果给Manager 10. Manager返回处理结果给用户 Manager可以就近获取结果，不必再购买Worker/Beekeeper提 供的计算服务，节省项目组开支 Human Resource从运维层面保证服务的可靠性，主要功能有 • 弹性伸缩：保证用户请求量超过Worker处理能力的某个阈值后，招聘更多Worker加入项目； 当请求量回落后，裁剪Worker以节省项目组开支 • 健康检查：保证Worker告病时，能有替补接手任务 • 滚动升级：保证项目需要新技能时，能替换、培训Worker

W W 线 程 池 • 框架以事件驱劢为基础 • 异步操作提升应用处理效率 • 支持Restful以及RPC 异步事件操作保证系统性能 分布式调用追踪 • 支持标准追踪协议 • Zipkin • 支持@span扩展事务追踪 • 提供调用追踪扩展 • 可以配置自定义的追踪处理器 • 支持适配自定义追踪格式 http://github.com/ServiceComb ServiceComb-Saga • 长时间运行事务处理框架 ServiceComb组件的新特性 • Service-Center 0.2.0 • 提供了管理控制台，对注册的服务实例提供管理功能 • Java-Chassis 0.3.0 • 支持通过@Span注释的方式定义事务 • 统一了Http请求处理，支持对Rest调用进行定制处理 • Saga 0.1.0 • • 提供了初步的Saga调用服务，支持顺序以及并发的调用处理 社区贡献 01/ 提交BUG 02/ 完善文档 03/ 参与邮件列表 04/ 提交Patch • 线上： – 关注微信公众获取信息 – 加入微信群进行交流 – 通过邮件列表参与讨论 – 通过Github发起PR • 线下： – 月度Meetup – 不定期沙龙探讨 如何参与到ServiceComb社区

tcher的扩展 • 通过getOrder声明相对其他dispatcher的执行顺序 • 自己能处理的url，拦截处理 – 根据自定义规则获取目标微服务名、版本规则、新url等等参数 – 通过EdgeInvocation转发请求 • 自己不能处理的url，放通给其他dispatcher处理 Metrics-架构 • 基于netflix spectator • Foundation-metrics通过SPI机制加载所有

华为CloudBU PaaS微服务引擎开发团队 代码阅读 • 一、系统架构解读 • 二、系统模块解读 • 三、框架的启劢不停止 • 四、框架运行时请求发送不处理过程 ServiceComb 开发框架 通信模型 (restful、 highway） 编程模型 （jaxrs、pojo、 springmvc) id的关系为n:1，即Service ID可以拥有多个微服务实例； 系 统 模 块 图 框架的启劢不停止 框架运行时请求发送不处理过程 业务调用 构造请求元数据 消费端handlers 编码传输 请求解码 生产端handlers 业务代码映射 业务代码处理 服务消费端 服务提供端 如何参不到ServiceComb社区 • 线上：  关注微信公众号获取信息

等待一个锁 n 等待一个互斥信号或监视器（例如同步的代码块） n 执行一个长时间数据库操作并等待其结果 n 执行一个复杂的计算，占用了可感知的时长 n 在循环语句中长时间逗留 10000TPS=0.1ms处理一个请求 如果利⽤多核？ ServiceComb 采⽤Vert.x的背景 3 Vert.x vs webflux 同步 Reactive ServiceComb同步线程模型 ServiceComb嵌套同步线程模型 ServiceComb非阻塞线程模型 p 与传统流程不同的是，所有功能都在 eventloop中执行，并不会进行线程切 换 p 橙色箭头走完后，对本线程的占用即完 成了，不会阻塞等待应答，该线程可以 处理其他任务 p 当收到远端应答后，由网络数据驱动开 始走红色箭头的应答流程 p 只要有任务，线程就不会停止，会一直 执行任务，可以充分利用cpu资源，也 不会产生多余的线程切换，去无谓地消 耗cpu。 测试代码：https://github.com/GuoYL123/ReactiveBenchmark 调优后的压测数据 n 寻找拐点 n 调整consumer/producer参数（网络线程/业务线程等），提升处理能力 n 重新调整测试驱动压力（加大或减小），重复前面步骤 n 输出最终性能拐点时的各项参数，包括TPS/时延/CPU/带宽等等 Spring Cloud Gateway VS Zuul VS EdgeService

Breaker Rate Limiting Config Center Scheduler 调⽤用场景1 • 透明TLS传输能⼒力，⽤用户可托管⾃自⼰己的证书 • 提供者可获得服务端限流能⼒力和处理链功能 ServiceA Mesher Mesher ServiceB https://10.100.2.3:30101 http://127.0.0.1:8080 http://127.0 Http Server 可定制 固定组件 Transport Transport Source Resolver 多协议⽀支持 • 任意协议请求都被抽象为Invocation模型进⾏行处理，最终再转换为协议请 求转发 Http Request Grpc Request Thrift Request Transfer Invocation Http Server Grpc Server File System Kubernet es Consul Eureka 动态治理 • 对接华为公有云微服务引擎的Service center 与 Config center 监控 • 处理链中提供分布式调⽤用追踪 • Admin API 提供了路由查询，健 康检查，Metric等信息 • 使⽤用Collector Registry模型，并 使⽤用Channel主动上报Metric数据

的资源， 在一个进程中线程总数是有限制的。提升线程的使用率，就能 够有效提升系统的吞吐量。在同步服务调用中，如果服务端没 有返回响应，客户端业务线程就会一直阻塞（wait）,傻等期 间，无法处理其它业务消息。 2、纠结的超时时间：服务的超时时间配置是个比较纠结的事 情，如果超时时间配置过大，如果响应慢，会导致线程被长时 间挂住；如果配置过小，则会导致超时增多，成功率降低。 3、雪崩 和参数依赖，可以通过异步微服务调用并行执行 异步场景2：性能提升：使用更少的线程处理更多的消息，提升线程和I/O利用效率 异步场景3：业务超时较长：业务上对服务调用时延不敏感（例如1-3S），如果采用同步调用 + 大超时时间，在业务高峰期，如果 时延达到超时阈值，系统很容易被压挂 异步场景4：级联调用：需要级联调用多个微服务，希望提升可靠性，不会因为某个微服务处理慢而导致其它微服务调用被阻塞 传统I/O和业务线程分离技术：

负载均衡 分布式追踪 动态配置 服务注册 服务度量量 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务⼀一致性 服务契约 平滑上云 拥抱开源⽣生态 处理理链 微服务脚⼿手架 服务安全 治理理UI ⾃自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking … 运⾏行行模型 围绕服务契约进⾏行行开发以及运维 异步化⽀支持 • 基于Vertx提供的异步内核 • 保持⾼高性能的同时⽀支持同步调⽤用⽅方式 • 将通信线程与业务处理理线程分离 • 操作级别线程池控制，⽀支持隔离仓 • ⽀支持多种异步编程接⼝口 • CompletableFuture • RxJava • Reactive Stream • …….

限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信协议 （Rest&RPC） 边缘服务 熔断/容错 Token认证 Saga事务一致性 服务契约 平滑上云 拥抱开源生态 处理链 微服务脚手架 服务安全 治理UI 自动部署 监控运维 Public Cloud …… SpringCloud SpringBoot Istio Apollo Skywalking Zipkin （OpenAPI） 服务发现 熔断 负载均衡 配置 跟踪 … 运行模型 围绕服务契约进行开发以及运维 异步化支持 • 基于Vertx提供的异步内核 • 保持高性能的同时支持同步调用方式 • 将通信线程与业务处理线程分离 • 操作级别线程池控制，支持隔离仓 • 支持多种异步编程接口 • CompletableFuture • RxJava • Reactive Stream • ……. Process