鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 消息消费 job调度系统 job元数据管理 job发布 job调度 配置中心 mq管理系统 调用链路 LB DNS app/browser nginx-Proxy nginx-Proxy data(r) 同城双活的探索 未来的担忧 单机房 如果发生机房级的灾难怎么办？ 单集群 随着流量越来越大，集群规模 越来越大，怎么破？ 单元化&多活的范围 boss 客服系统 销售系统 风控审核 催收系统 政策管理 prod devops 监控系统 调用链路 日志系统 …… 单元机房 _ConfigCenter biz_config dba_config2 S biz-config dba-config1 biz-config dba-config2 MQ缺乏单元化路由能力 中心机房 namesrv 单元机房 producer broker- master broker-slave consumer namesrv broker- master

In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg 异步化 • 充分利用资源，减少请求等待时间，提升系统吞吐量 • 消息化请求 • MQ - RabbitMQ, RocketMQ • 模块间解耦 • IDC数据同步 • 异步RPC 并行化 • 横向扩展处理能力 • 数据分片存储 • 多节点+分片+多副本架构 • 数据读写动态路由 • 请求并行处理 • 模块级别并行 • 代码级别并行 极光推送后台系统架构 03 MQ Segment OnlineMsg OnlineMsg OnlineMsg Data0-0 Data0-1 Data1-0 Data1-1 Data2-0 Data2-1 Mng0 Mng2 极光推送后台系统架构 M Q M Q IDC3 Conn IDC1 API Segment PushTask XPNS MQ MQ IDC4 Conn IDC5 Conn IDC2 API Segment PushTask XPNS MQ MQ IDC6 Conn 系统安全 • 网络安全 • 对外业务隔离，异地多机房部署，健康检查，业务快速部署及调度 • 通信安全

美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集 群智能调度等领域提供业界领先的、统一的解决方案，CAT 目前在美团点评的产品定位是应用层的统一 监控组件，在中间件（RPC、数据库、缓存、MQ 等）框架中得到广泛应用，为各业务线提供系统的性能 指标、健康状况、实时告警等服务。 本文会对 CAT 的客户端、性能等做详细深入的介绍，前不久我们也发过一篇 CAT 相关的文章，里面详 细介绍了 有核心应用，并在生产环境中大规模地得到使用。 2016 年初至今，CAT 接入的应用增加了400%，机器数增加了 900%，每天处理的消息总量高达 3200 亿，存储消息量近 400TB，高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长，CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了 一系列的升级和改造，包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等，项目最终稳 美团点评基础架构团队诚招 Java 高级、资深技术专家，Base北京、上海。我们是集团致力于研发公司 级、业界领先基础架构组件的核心团队，涵盖分布式监控、服务治理、高性能通信、消息中间件、基础存 储、容器化、集群调度等技术领域。欢迎有兴趣的同学投送简历到 yong.you@dianping.com。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 LruCache在美团DSP系统中的应用演进

第⼆部分 端点 PaaS 发展历程 有状态服务 Job / JobFlow 批计算 流计算 ⽆状态服务 DaemonSet Workloads 多集群调度 混合云调度 跨云迁移 多环境调度 业务数据统⼀调度 集群核⼼服务 Helm 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐 … 代码管理 持续集成 编排部署 应⽤运维 测试管理 协同管理 数据源管理 数据集成 数据开发 数据资产 数据服务 数据应⽤ 资源统计 运维报告 审计⽇志 K8S 管理 数据监控 多云管理平台 MySQL Redis Kafka ES MQ Minio 中间件 通⽤服务

AND/IOS/H5/Open 静态站 网贷服务 借款流程 Cache集群 安全加密 网贷服务 CDN 支付结算 订单 DB从 批 处 理 系 统 活动 DB主 DB从 版本管理 产品 ... 同步 …... 网站、基础服务 移动后台 业务和团队规模迅速扩张 粗粒度服务化，基础设施完善 CDN/页面缓存/静态站/缓存集群 移动后台旁路 流程double，冗余开始出现 智能DNS，DNS负载均衡 限流(limit,lua)，openresty，4层/7层LB 弹性扩容，限流(token)，熔断，防刷 降级，熔断，弹性扩容 多IDC，区域容灾，多ISP 集群，高可用，分片 本地缓存，防刷，流控 终端 域名 机房 LB / NG.. 网关 Cache 服务 抓大不能放小[细节决定成败] 线程阻塞>300 中间件内存管理、线程状态，连接状况 zabbix，datagod, prometheus… apm工具，商业产品 期望更轻量、无侵入性的业务监控 cat，elk，zipkin等 趋于个性 具有共性 中间件/缓存/数据库/代理/MQ... OS/网络/存储/防火墙... 应用/框架/业务逻辑/系统间调用 自研日志监控[轻量无侵入] Kafka Kafka Spout 策略 Cache 系统配置 预处理bolts

分布式 分级缓存 ⽆无状态 搜索框架 PriceMerger 报价引擎 供应商直连 旗舰店 CacheManager 抓取 App WWW Touch 分销 Cache Redis MQ MQ 航班数据 运价数据 应⽤用层 聚合层 报价源 基础数据 搜索框架 遇到问题 解决⽅方案 • 报价数量量多，内存问题 • 报价源多，不不稳定 • 响应时间要求苛刻 • 搜索条件有热点 • DB读写压⼒力力⼤大 • 舱位状态变化频繁 • 热点航线问题 • 计算量量巨⼤大 报价引擎 索引 搜索引擎核⼼心 • 规则库 => 索引库 • 规则库写⼊入量量⼤大，集群峰值达20K TPS • 要求同步延迟很低，不不超过60s • 保持顺序⼀一致性，如果先删后插变成 先插后删，数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎

举例：客户维护和订单是2个微服务，订单系统对性能有较高要求，所以可以考虑把购房资格信息从客户维护微服务同步到订单系统，改同步动作 对性能没有要求，对事务性有要求。 常见的服务间通信模式：同（异)步通信，API组合，基于MQ的异步通信 事务性： saga, 事务性消息发布（一次仅一次），分布式事务等 很易用的服务间saga事务方案Servicecomb ServicePack: https://github.co http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 其他优化… 步骤3 其他优化： 1. 可以使用JMeter集群进行压测，不断调优，每台最高约1250 线程, 同时发请求。JMeter 需要调高 Xmx / Xms。 2. 需要迅速伸缩，用了docker-compose。 注意NAT的性能问题。 启发：不一定要K8s，Istio， http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 其他优化… 步骤3 其他优化： 1. 可以使用JMeter集群进行压测，不断调优，每台最高约1250 线程, 同时发请求。JMeter 需要调高 Xmx / Xms。 2. 需要迅速伸缩，用了docker-compose。 注意NAT的性能问题。 启发：不一定要K8s，Istio，

指标规则计算 指标脚本 规则表达式 熔断 降级 条件 计算 降级消息 数据 存储 实时告警 规则配置 开发 ⽇日志解析规则 控制中⼼心 ETCD 降级服务 降级处理理 流处理理集群（Flink） HBase ES Redis 落地存储 数据服务 数据平台 实时告警 告警策略略 指标查询 指标脚本开发 指标配置 产品化 开发 复合指标计算如何处理理 系统设计 Agent Core Custom Code Model Burn CPU Servlet Module MySQL Module DSF Module MQ Module Redis Module Attach Method Event 故障演练 管理理后台 Agent 控制指令、参数下发、故障注⼊入 Jetty MGT API

上创建⼀个配置时， 如果未填写配置分组的名称，则配置分组的名称默认采用 DEFAULT_GROUP 。配置分组的常见场 景：不同的应用或组件使用了相同的配置项，如 database_url 配置和 MQ_Topic 配置。 配置 ID（Data ID） Nacos 中的某个配置集的 ID。配置集 ID 是划分配置的维度之⼀。Data ID 通常用于划分系统的配 置集。⼀个系统或者应用可以包含 在开源支持就定下了⼀个目标，尽可能的减少用户部署以及运维成本，做到用户只需要⼀个 程序包，就可以快速以单机模式启动 Nacos 或者以集群模式启动 Nacos。而 Nacos 是⼀个需要 存储数据的⼀个组件，因此，为了实现这个目标，就需要在 Nacos 内部实现数据存储。单机下其 实问题不大，简单的内嵌关系型数据库即可；但是集群模式下，就需要考虑如何保障各个节点之间 的数据⼀致性以及数据同步，而要解决这个问题，就不得不引入共识算法，通过算法来保障各个节 节 点之间的数据的⼀致性。 为什么 Nacos 选择了 Raft 以及 Distro 为什么 Nacos 会在单个集群中同时运行 CP 协议以及 AP 协议呢？这其实要从 Nacos 的场景出 发的：Nacos 是⼀个集服务注册发现以及配置管理于⼀体的组件，因此对于集群下，各个节点之间 的数据⼀致性保障问题，需要拆分成两个方面 从服务注册发现来看 服务发现注册中心，在当前微服务体系下