极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台开发工程师 多年互联网开发经验，专注后台开发技术。2016年加入极光，负责极光推送平台架构设 计及开发，主导包括K8S在内的技术架构实施落地，推动系统架构的演进，构造支撑海 量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。 自我介绍 • 极光推送服务架构 • 关于极光 • 消息推送系统面临的挑战 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 通信安全 • SSL，私有加密协议 • 服务安全 • 安全校验，异常行为识别，过载保护，白名单/黑名单，服务降级 • 监控及告警 • 多维度监控，告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂，资源利用率低 • 弹性扩容 • 配置统一管理 • 内外集群隔离 • Pod包含多个容器 - 辅助容器，业务容器 • 业务模块代码架构调整 • 监控体系调整

Docker Registry, Harbor, JHipster ■���� ■ Kubernetes, Mesos, Docker Swarm ������������K8s������WireMock� ����� k8s�������� ���� ������������� ��Kubernetes�������������� ������������� ■ ������ ■ �������

持续集成 中台化 容器化 注册发现 www.163yun.com 网易容器平台优势 集群规模大：30000+节点 生产检验时间长：国内首个K8S公有云容器平台稳定运行1000+天 全球首批通过K8S一致性认证 基于OVS的网络性能优化 基于Ceph的存储性能优化 多集群统一管理 www.163yun.com 某物流企业 www.163yun

���� ���� ���� ��� ���� Git��� ���� ������� ������� ������� �������� China Conference �K8s����� China Conference ������������ Git��� Jekins Jar �� ��� ���� China Conference ��&��

id=tmp.id; delete from orders where id = ANY[%s] 交易系统架构设计-部署 • 有状态服务，单独部署集群 • 数据库 • Redis • 无状态服务，k8s/docker swarm • Restful api • Websocket api • 异步任务 3 钱包实现 钱包的功能 • 地址生成和私钥管理 • 构建并签名交易 • 监听充值交易的发生

不同业务间作业 隔离 容器化的调度系统选型 开源程度 场景切合(秒级调度) 异构体系 管理成本 长驻处理？ 使用后销毁？ 物理资源层: Mesos / VM 容器/应用层: Marathon / K8S / Swarm 作业层(常驻): Saturn 多层调度理念 创建 容器 资源 查询 容器 资源 释放 容器 资源 域 作业 Executor 容器 Task/App