大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer server (超)大型规模应用+契约协同 应用的发展演变历史 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 拆 应用拆分 数据拆分 团队拆分 分布式服务 API Gateway 分布式文件 分布式缓存 头到尾梳理代码，再写一堆的mock语句把他们全mock掉了。 每当业务逻辑变化了，代码中要增减相应的mock语句；每当依 赖服务上线后，要把测试用例中对应的mock语句去掉。对测试 用例的修改工作贯穿于整个开发工作之中。 3. 我和某同事通过服务框架进行调用联调，结果另一同事也把同 名服务挂了上来，不幸的是，他的服务版本和我们的不一样， 结果，一系列的灵异状况发生了… 4. 依赖的远程服务逻辑发生变化了，但负责它的团队没有通知到

1、功能单一 大多政务服务APP功能单一，仍以政务信息发布为主，缺乏实用的网上办事和便民服务。 仅有15%的政务APP提供办事服务，存在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥，用户为了办事需要下载多个APP，成为一种负担。 3、优化不足体验差 政务APP接入政务服务，没有结合移动端的访问特性进行移动化改造，用户体验差。 4、缺少持续运营： 政务APP运营维护乏力，版本迭代缓慢，存在大量僵尸应用。 政务APP 统一身份认证 无需注册直接登录，提供活体检测、人脸核身 需要注册，使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套，组件丰富 每个端都得开发，标准化组件少 版本更新 无感知，轻量级更新 更新麻烦，审核周期长 服务触达 利用微信载体，消息通知更简单 APP消息，打扰多，用户遗漏概率大 拓展性 程序包小，可以关联调转 无需注册（无需用户再记住一个新账号、密码) • 依托微信的账号体系，便捷登录，以授权登录、 人脸识别登录为主 • 依托公安部门互联网可信身份认证体系 • 用户登录后，业务系统不再要求用户登录 9、前端开发 -- 封装公共组件 ，磨刀不误砍柴工 1、封装DGD-SDK公共组件 2、合包工具 3、Taro框架预研 10、API网关 – 限流保护已有系统、提升访问安全性 • 1.业务应用A 向网

极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台开发工程师 多年互联网开发经验，专注后台开发技术。2016年加入极光，负责极光推送平台架构设 计及开发，主导包括K8S在内的技术架构实施落地，推动系统架构的演进，构造支撑海 量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。 • 消息推送系统面临的挑战 • 极光推送相关架构 • 极光推送后台系统架构 • 后台系统架构基本原则 • 链接管理 • 系统安全 • 新技术的应用 目录 关于极光 36.9 万 开发者 107.6 万 APP 198 亿 移动终端 10.4 亿 月独立 活跃设备 90 % 覆盖率 亿级长连接用户 SDK多版本并存 消息实时性 触达率要求 移动网络环境复杂性

微服务和Service Mesh 在多个行业落地实践 www.163yun.com 阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix 拓扑 性能 监控 服务 筛选 调用 链 调用 栈 JVM 监控 数据库 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 163yun.com ZIP源码包 持续集成 重新开发 迭代修改 个性开发 统一模版 接口统一 利于复用 文档一致 减少沟通 某视频监控企业：IT资产沉淀与IT能力复用 持续集成 容器化 注册发现 服务管理 www.163yun.com 开发集群 测试集群 CICD (开发流程管理) 流水线管理 代码 检出 代码 编译

Application Application SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群（Flink） HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 ServiceA ServiceB ServiceC 离、延迟处理理 • 策略略灵活调整，实时监控策略略运⾏行行状态 应⽤用 / 服务 降级代码管理理 • 线上代码开发、测试、发布 • 降级代码统⼀一管理理 • 脚本代码动态编译，对象管理理 业务保障平台应 SDK 线下开发 策略略配置 测试 发布 WEB IDE 线上开发 降级⽅方法使⽤用 Git 降级代码 线下代码管理理 脚本 降级服务如何⾃自动探测恢复 ⽅方法代理理

架构工作在国际化项目中 的应用实例 贺钢 2016-12-17 个人简介 • 深信服科技 • 腾讯 • 联想深圳中国开发实验室 前言 • 国际化项目的一些不同点导致架构工作的一些不同 • 应用实例体现这些不同点 广告 • 联想电脑管家(PC): guanjia.lenovo.com.cn 国际化项目的一些不同点 • 目标客户不同: 文化习俗, 客户需求, 用户体验… Cloud… • 跨设备及云智能搜索 • 语音等多种输入方式 用例示意图 用户输入支持举例 3D Camera 项目实例 -- 项目开发团队 项目 备注 项目名称 XA 支持国家 160 多语言支持 27种语言 架构师 5-8人 开发人员 中国,美国,日本,印度 三方合作伙伴 6-7家 系统组件设计 图示 系统整体架构I 系统整体架构II 对架构设计的影响I -- 2014-02-19 … 3 … 1 Show.ppt 138238 2014-08-09 … 碰到的问题 • 各类文档,程序的属性差别很大 • 采用的敏捷Scrum,任务随Sprint迭代 • 开发测试人员属于不同地域的不同部门,向不同的人汇报 后来使用的方案 ID ... Type … Content 1 … 1 {“File Name”:”1.doc”,”time”:”2014-02-

positioned properly. 感谢聆听！ 邱戈川 (了哥) 微信公众号： VIPDOCKER 唯品会开源弹性调度系统 Saturn的“前世今生” 黄国钦 (Chembo) 唯品会高级开发工程 师 內容主题 为何而生 瓜熟蒂落 有女初长成 女大须嫁 https://github.com/vipshop/Saturn 婆媳关系 为何而生 传统调度系统的问题、产品的定 位与选型 支持粒度功能较单一或缺乏 没有容器化选型？ 调度产品的定位 简易开发、简单维护 高可用、分片并发处理、资源调度动态平衡 支持Java、Shell以及本地模式(VIP还支持消息模式) 统一配置、统一监控、统一管理 VIP弹性调度系统 -- Saturn 开源地址： Github.com/vipshop/Saturn 体系中的定位 服务化框OSP 开发框架Venus 唯品会基础架构体系 消息队列 • 提供多种业务开发模式，满足不同的业务需求 • 多种业务运行模式，即可分布式管理也可本地管理 • 通过异步消息实现业务编排* 多种作业类型 人工指定 运行节点 系统自动 平衡负载 资源利用 • 灵活的运维配置与部署 • 高效资源利用 • 简便的管理 人工指定 自动平衡 资源平衡调度算法 框架代码 与业务代 码隔离 集中化动 态增加与 删除作业 • 简化开发，避免冲突，业务无侵入

通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 思考 THINKING 解耦 异步化 扩容 排队 队列 缓存 冷热数据隔离 读写分离 分库分表 容灾 限制 池化 ACK ... 变化 VARIETY THAN THE USER 03 最佳实践-如何早于用户发现问题 如何 早于用户 发现问题 如何让开发人员 对自己的代码 更加有安全感 ？ 这些困惑的体现是什么呢？ 开发人员如何提高代码质量，减少频繁迭代产生的bug？ 线上环境突发事故，第一时间如何决策减少事故影响范围？ 开发人员排查问题速度过慢？ 随着业务的增长，问题越来越多，第一优先级需要解决什么？ 系统突然CPU、内存利用率暴增，如何定位代码？ CONFUSION 需求设计阶段- 首次拦截 开发实现阶段-尽可能避免故障 系统运行阶段-及时发现故障 系统运行阶段-出现故障快速解决故障 思路 THINKING 预见运行期、所想即所得、限制和保护 设计可容错的系统（快速失败、超时、自动重路由） 设计具备自我保护的系统（拆分、限制、优雅停止） 制定合适的开发规范 撒网 实时监控（傻瓜式、开发不用查日志） 可视化运营 网络监控 主机监控

• 核⼼心开发 - 建设⽤用户增⻓长设施与平台建设 • 负责过分布式调⽤用链跟踪框架 & 系统 • 核⼼心开发 - 分布式数据库同步系统 • Github ：https://github.com/zavakid • 开源项⽬目： • otter 核⼼心开发者： https://github.com/alibaba/otter • canal 核⼼心开发者：https://github 远程化、业务框架对接规范 • 业务开发底层规范 理理念（⾯面向系统架构） • 系统应有的能⼒力力 • 架构上思路路 • 技术上的⼿手段 理理念 Reactive 规范 Reactive Stream 业务编程框架 Rx* / Reactor / … 为什什么现在可以做升级 语⾔言的⽀支持： Java 8 普及 * lambda ⽀支持 * 业务开发⼈人员对 lambda

绕业务概念构建领域模型来控制业务的复 杂性，以解决软件难以理理解，难以演化等 问题。团队应⽤用它可以成功地开发复杂业 务软件系统，使系统在增⼤大时仍然保持敏敏 捷。 事件⻛风暴暴⼯工作坊 - Event Storming是⼀一种领域建模的实践，是⼀一种快速 探索复杂业务领域的⽅方法： - 最初由Alberto Brandolini 开发，经过DDD社区和 TW的很多团队实践验证后，于2015年年11⽉月进⼊入 ThoughtWorks技术雷雷达 基础设施 第⼋八式： 1. 新⽤用户服务运⾏行行⼀一段 时间后，删除原始⽤用 户模块，完成拆解 遗留留系统拆解注意事项 1. 遗留留系统改造过程中，适当减少新需求的开发，减少改造难度 2. 遗留留系统改造过程中，新需求开发必须按照新规则，如只通过 REST API进⾏行行依赖，同⼀一类型数据只能在某⼀一模块中修改， 不不依赖其他模块数据库等，减少改造⼯工作量量 3. 遗留留系统中还会包含前端代码和存储过程，也需要通过代码依