降级预案在同程艺⻰龙的⼯工程实践 演讲者 / 王俊翔 同程艺龙 ⾃自我介绍 搜索故障 微信⼩小程序 API⽹网关 资源1 搜索引擎 统⼀一资源⽹网关 资源2 资源3 资源4 …… 资源4 ⼤大量量超时 统⼀一资源⽹网关 搜索引擎 API⽹网关 ⼤大量量请求超时 缺乏熔断设计 交易易故障 第三⽅方⽀支付 ⽀支付中⼼心 ⽀支付回写 消息队列列 ⽀支付通知 交易易中台 ，并做好降级预防措施 • 参数修正，及时调整流控、降级策略略，优化告警、超时参数设置 • 模拟线上故障，进⾏行行故障复现，验证故障后续的处理理措施是否⾏行行之有效 • 以战养兵，历练团队，让⼯工程师有更更多机会积累经验，提升应对故障的能⼒力力 常态化的故障演练对系统进⾏行行反复验证 系统设计 Agent Core Custom Code Model Burn CPU Servlet 治 理理保障系统的可⽤用性 • 通过反复的故障演练，发现系统中的薄弱点，并进⾏行行有效的预防 • 配合降级预案，让系统的可靠性更更易易验证，让演练更更加常态化 • 历练团队、积累经验，促进⼯工程师的进步，提⾼高应对故障的能⼒力力 ⾃自我介绍

主数据平台 （核心模型） 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 主数据平台 （核心模型） 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 并行计算 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 • 如何解耦用户侧与骑手侧 • 调度系统如何设计 • 如何实现算法与工程结合 骑手网关 规模化阶段：核心领域细分 主数据平台 （核心模型） 账号权限 组织架构 核心数据模型 配送服务 配送运力 ⋯ 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架

x3,x4,x5,x6,x7,…] dn［x1,x2,x3,x4,x5,x6,x7,…] …… L2R System d7 d2 d6 d5 … 。 。 d1 Model h 线上工程 问题建模 •GBDT •非线性 •High Level特征多 •XGBoost •泰勒展开，利用了二阶导数信息 •对数据预排序，性能更高 •多模型融合 •GBDT模型+FFM模型 Level特征多 •情景推荐 •发现特征关联关系 •用户画像 •上下文 •POI ID&属性 滑雪 age<25 User 25-40 age>40 … 温泉 POI 数据标注 特征工程 特征工程 •特征预处理 •missing value：不需要处理 •position bias：COEC •One-Hot Encoding？周几/小时/city id •Normalize •Normalize? •召回策略特征化 •销量拆分本异地 •User-POI行为：实时/长期 •GeoHash热销 •POI CF •特征选择 •特征在每棵树每个节点的信息增益之和 特征工程 •特征分析 •分本异地统计转化率、销量 •天气 •特征监控 •覆盖率 •值域范围 •分布异常 特征 coverRatio numValid 参考值 监控值 波动率 参考值 监控值 波动率 CLICKNET

代码 评审 开 发 服务运⾏行行治理理 服务 部署 运⾏行行架构治理理 故障 分析 定义架构 约束条件 微服务架构设计 服务地图 设计 API设计 部署架构设计 微服务⼯工程创建 开发 框架 架构 ⻛风格 资源 配置 … 架构演进 服务 关系 分析 代码 质量量 分析 数据 库分 析 领域 模型 分析 运⾏行行资 源管理理 PaaS、 容器云资 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness Function检查 代码质量量分析- 配置Sonar地址、展⽰示分析结果 数据结构分析- 测试环境的反向⼯工程可视化 数据结构分析- ⽣生产环境脚本导入可视化 领域模型- 基于代码守护的反向可视化 运⾏行行时部署架构可 视化 数据库 状态/版本显⽰示 创建系统 组建团队 我的系统 外部系 统 部署架构服务 架构约 束 部署架 构 部署组 件 架构守护 服务 架构 守护 度量量服务 度量量分 析 代码⽣生成引擎服务 依赖 框架模 板 微服务 ⼯工程 码云 U D U D DevOps平台 微服务契约测试平台 Sonar U D D U U D U D U D U D U D U D U D U

静态匹配 2.动态匹配 3.多版本支持（服务版本） 管理规范： 1.服务谁提供，就由谁负责相应Mock数据的 制作。 2.mock数据可被使用者二次修改或替换。 3.mock数据独立工程管理。 静态匹配（json） 动态匹配（脚本） 在线抓取Mock数据 手工编写应用服务的mock数据往往工作量巨大，尤其是对一些数据驱动的业务，比如电信营业厅的套餐开户、基金业 务中的基金 ）的测试数据库。 2.预置数据独立管理，并通过测试框架提供预置数据前置导入及后置清除能力。 逻辑上支持“租户”隔离模式的分布式服务一般对多团队并行开发/调测的支持较好，分布式环境下，一般不会成为工程效率提升 的瓶颈。针对这类服务，不用急于构建其Mock服务，可以根据其特性，寻找成本较低的实现途径。 分布式文件/对象存储 Tom/assets/product/… John/assets/product/… Mock+线上服务 图例 项目初始 项目进行中 项目终结 mock 直连调测 线上服务 项目各个阶段灵活组合使用各调测手段 总结 介绍了分布式环境下开发调测所遇到的各种效率问题 分布式环境下工程效率提升的应对之道 远程应用服务采用服务mock+直连调测 通过契约测试保障mock数据及协议的可靠性 分布式消息服务的mock实践 分布式缓存的mock实践 分布式存储（File+DB）的“逻辑”隔离策略

cloud≠容器化≠RPC 工具/框架是手段而不是目的 02 优秀的系统=� 适应性架构设计(指导)+超强工程能力(落地) 03 04 技术要紧贴业务，接地气 技术是手段而不是目的，生产力适应生产关系，技术业务相互促进共同发展 安于现状=走下坡路 提升团队整体工程能力，前瞻性改造 Thanks�

服务节点可以随意迁移，不必固定 IP 和存储 有状态分布式系统的高可用问题 一致性 可用性 分区容错性 Paxos Raft 2PC Gossip Ø 处理请求需要特定节点 Ø 必须要考虑数据备份和同步 的问题 Ø 容量扩展和高可用需要不同 解决方案 Ø 服务节点不能随便迁移 CAP Is Not Simply 2 out of 3 Ø 没有分区时，可用性和一致 性要兼得 Ø

Function Atomic 原子的 Continuous 持续的 适应度方程 Fitness Function Continuous 持续的 Holistic 全局的 工程卓越 —— 演进的基础 没有任何实践可以代替交流沟通 “The measure of intelligence is the ability to change.” - Albert

ServiceComb 开源微服务框架技术演进之路 巨震 软件工程师，华为 • 服务形态演进 • 基于SDK的传统微服务框架 • 何为Service Mesh • 演进：从SDK到Service Mesh • 拥抱Service Mesh开源生态 • 相关资源 #微服务 #Service Mesh #Sidecar #云原生 #SDK #数据面，控制面

极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台开发工程师 多年互联网开发经验，专注后台开发技术。2016年加入极光，负责极光推送平台架构设 计及开发，主导包括K8S在内的技术架构实施落地，推动系统架构的演进，构造支撑海 量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。