Istio 流量管理原理与协议扩展 赵化冰 赵化冰 腾讯云 服务网格团队 https://zhaohuabing.com Service Mesh Service Mesh Layer 处理服务间通信（主要是七层通信）的云原生基础设施层： Service Mesh 将各个服务中原来使用 SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用 专注于其业务价值。 流量控制：服务发现、请求路由、负载均衡、灰度发布、错误重试、 断路器、故障注入 可观察性：遥测数据、调用跟踪、服务拓扑 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service 1 Istio 流量管理 – 概览 • 控制面下发流量规则： Pilot • 数据面标准协议：xDS • 集群内Pod流量出入： Sidecar • 集群外部流量入口：Ingress Gateway • 集群外部流量出口：Egress Gateway（可选,在一个集中点对外部访问进行控制） • Service discovery • Load balancing • Time out • Retries • Circuit breaker • Routing • Auth • Telemetry collecting 外部流量出口 外部流量入口

C u r v e 质 量 、 监 控 与 运 维 秦 亦 1/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系Curve 是网易针对块存储、对象存储、云原生数据库、EC等 多种场景自研的分布式存储系统：  高性能、低延迟  当前实现了高性能块存储，对接OpenStack和 K8s  网易内部线上无故障稳定运行近两年  已完整开源 需要利用科学的方法论和专业的工具，在整个 软件生命周期内更好地为用户服务：  质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理

在 k8s 上部署高可用的 service mesh 监控 pctang@caicloud.io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring

探讨和实践基于Istio的微服务治理事件监控 2018.11.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 来自于浙江大学SEL实验室目录 CONTENTS 微服务平台的监控演进 Mixer组件的功能介绍 Mixer组件的功能介绍 基于Mixer的开发流程和实例微服务平台的监控演进典型的运维场景 传统的监控面临容器化和微服务化的困境 测试运维沟通鸿沟，如何提升沟通效率 监控工具繁杂，如何快速找到合适工具进行问题定位 偶发性问题场景复杂，如何保留发生现场 如何在错综复杂的未服用调用链路中找到错误源头监控场景转换 帮助运维人员快速的定位问题，解决问题 基于容器化和微服务化的监 控场景 • 基于请求的依赖追踪监控 基于虚拟化的监控场景 • 应用规模大 • 服务之间依赖呈现为线型 • 日志、性能指标需要集中化 存储 基于主机的监控场景 • 应用规模较小 • 服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging Tracing 指标监控 • 指标可被聚合

在讨论什么？ • 解决如何微服务的问题 • 解决微服务化后带来的问题 温饱问题 • 计算资源的快速分配 • 基本的监控 • 快速部署 • 易于分配的存储 • 易于访问的外围（负载均衡） • 服务注册和发现 致富问题 • 认证和授权 • 智能路由 • 流量管理 • 服务降级 • … • 微服务拆分原则 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • 简单路由功能 统一日志中心 Fluentd & ES 统一监控中心 Prometheus 统一配置管理 Configmap、Secret 负载均衡 简单负载均衡，基于Iptables Roundrobin 流量控制 简单根据服务实例进行控制云平台微服务演进之基于API网关的微服务方案 API网关功能增强 • 安全认证 • 流量控制 • 审计日志 • 黑白名单 • …K8S集群 云平台微服务演进之基于Spring Zuul Nginx Eureka Server Service 1 Service 2 Ribbon 注册 业务服务 配置中心 启动获取 Monitor Turbine K8S流量 SC流量 同集群调用微服务 Spring Cloud管理平台基于Kubernetes的Spring Cloud实现 Devops: Experience Auto Scaling & Self

RR、权重、一致性 Hash 等 √ 流量复制：不提供 × 故障转移：继承 Nginx 的 Failover 机制 √ 安全 访问控制：主要依靠中间件 × 中间件 治理控制 熔断降级：主要依靠中间件 中间件 限流：速率限制 √ 中间件 资源隔离：主要依靠中间件 中间件 故障注入：不提供 × 超时控制、重试、重写、重定向等：继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪：主要依靠中间件 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM 遥感数据：主要依靠中间件 APM APM 访问日志：主要依靠日志平台 日志平台 日志平台6/24 Service Mesh 为严选带来了哪些架构收益 • 历史包袱：现有的服务在不改造的情况下引入了服务治理能力 • 大大降低了中间件的研发投入和演进成本，也降低了业务和中间件的耦合成本 • 基础架构与业务架构可以独立演进 基础架构与业务架构可以独立演进 • 为多语言栈提供了服务治理能力7/24 持续演进的诉求 • 提供高质量的服务治理能力 • 增强流量管理能力 • 将更多治理特性（如限流、熔断、故障注入）与业务架构解耦 • 支持更多的协议 • 增强控制面 • 配合业务容器化上云及混合云架构8/24 行业技术演进 - 通用型 Service Mesh 出现 2017年1月23日 加入 CNCF 2017年4月25日 1

业务诉求 • 运维成本  突发流量应用 | 机房 生命周期 • 运维效率  大规模下基础设施稳定性 • 业务 Mesh 化  精细化流量控制  基础组件升级 • 业务可复制  业务敏捷  SaaS 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境； • 基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 （DRM/Scheduler/Message） 发布运维体系 发布运维 • 基础运维能力下沉；  原地升级，分组驱动；  流量控制； • 多应用有序发布； • 应用 ReleasePipeline 管理；  应用依赖项顺序；  发布顺序；  Beta 发布  分组发布； • 变更管控能力；发布流程 无损发布流程控制； 内部流量： RPC 外部流量： SLB（ALB） DNS 发布运维体系 InPlaceSet Controller

Service Mesh vs 南北流量（内外） API Gateway vs Service Mesh A infrastructure to decouple the application network from your service code Exposes your services as managed APIs 概念 流量 东西流量（内部） 通信协议 路由 鉴权 Gateway APP2 Logic Logic 微服务网关架构（2013-2016) LB spanner 特点： • 微服务网关 • 蚂蚁金服 RPC 协议 • 安全\鉴权\监控 • Netty 异步化 • 私有协议 MMTP 缺点： • API 网关变更风险 • 业务分级隔离需求 • 大促容量规划问题 HTTP/MMTP sofarpc10/21 去中心化网关架构（2016-2018) 业务之间互不干扰 • NodeJS 版 缺点： • 接入困难（几十个 jar 依赖） • Jar 包冲突 • 升级困难 • 版本离散 • NodeJS 版本维护成本高 30+系统、70-80%流量11/21 Mesh 化网关架构（2018-2019) APP Mesh 化网关架构 LB spanner APP1 Logic Logic Route MOSN APP2 Logic

年参与集团全面上云项目 并经历了整体架构的云原生升级 演进，稳定支撑双11峰值流量分享内容 • 阿里全站上云 • 神龙 (what & why) • 规模化集群运维实践 • 未来工作云原生全景图阿里全站上云 • 2018年底：阿里经济体全面上云 • 2019上云第一仗：基础设施上云 • 双11顺利通过峰值流量考验神龙 X-Dragon • 全称：弹性裸金属服务器（神龙） • 阿里造“神龙”神龙 Overlay网络 集团机房 云上机房 基础设施 IDC 系统 基础运维 天基系统 CMDB 安全审计 单机监控 ASI 平台 kubelet/Pouch CI/CD k8s extended Service Mesh 安全容器 运维管控 在离线混部 额度管控 监控体系 多租隔离 上层业务 集 团 业 务运维挑战 • 规模大 • 集群规模大 (数十个集群)，节点数量多 (数十万节点) 装机模板、OS版本、内核版本多；内核补丁、参数不同；其他如网卡中断打散 • 稳定性要求高 • 性能、宕机、夯机、抖动系统架构 • 基础监控 • 秒级、分钟级监控 • 内核性能指标采集 • 监控大盘 • 在线率 • 宕机率 • 抖动率 • 基线系统 • 基础环境一致性故障自愈 (1-5-10) • 监控、故障发现 (1-5) • 本地检测 (walle, NPD) + 外部系统 (IDC、aliyun) •

为什么需要Service Mesh? 多语言、多协议 图片来源：https://www.redhat.com/en/topics/microservices/what-is-a-service-mesh 流量控制、监控8/39 金融级网络安全 Part 1： 为什么需要Service Mesh? 身份标识/访问控制 Service （client） Sidecar Sidecar Service 控制平面 Galley Citadel Inspector Pilot 双模微服务 = 传统微服务 + Service Mesh 双剑合璧 服务路由 服务限流 服务拓扑 实时监控 ........ Pod Dubbo 应用 SOFAMosn VM SOFA 应用 SOFAMosn VM Dubbo 应用 Pod SOFA 应用 SOFA SOFARegistry：https://github.com/sofastack/sofa-registry21/39 Part 3： 蚂蚁金服的产品实践 流量劫持22/39 Part 3： 蚂蚁金服的产品实践 流量劫持 • 有效支撑了一天万亿级调用量 • iptables 的问题 • 在规则配置较多时，性能下滑严重 • 管控性和可观测性不好23/39 Part