Istio 流量管理原理与协议扩展 赵化冰 赵化冰 腾讯云 服务网格团队 https://zhaohuabing.com Service Mesh Service Mesh Layer 处理服务间通信（主要是七层通信）的云原生基础设施层： Service Mesh 将各个服务中原来使用 SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用

All rights reserved. Page 2 个人介绍 张伟 华为云容器网格数据面技术专家 拥有10年以上中间件及高性能系统开发经验， 作为架构师及核心开发人员发布过传输网管系 统、Tuxedo交易中间件、ts-server多媒体转码服 务、GTS高性能事务云服务、SC高性能注册中心、 ASM数据面等多个产品。先后就职于亿阳信通、 北电、甲骨文、polycom、阿里巴巴等公司；目 :80 LB Copyright © Huawei Technologies Co., Ltd. All rights reserved. Page 11 Envoy网络及线程模型 主线程 初始化 日 志 线 程 读 取 配 置 x D S 监 听 网络事件 启 动 工 作 线 程 定时器事件 a d m i n 请 求 X D S 更 新 合 并 s t a t 刷 新 D 态 更 新 调度器 L 4 网 络 过 滤 L 7 H T T P 过 滤 路 由 处 理 上 游 连 接 池 • 分为Envoy主线程及worker线程： • 主线程： • 负责初始化Envoy并读取解析配置文件 • 启动gRPC监听器，并启动xDS变化监听 • 启动日志写入线程，每个目标日志文件有独立线程负责输出 • 启动concurrency数目的工作线程 • 启动看门

9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 来自于浙江大学SEL实验室目录 CONTENTS 微服务平台的监控演进 Mixer组件的功能介绍 基于Mixer的开发流程和实例微服务平台的监控演进典型的运维场景 传统的监控面临容器化和微服务化的困境 传统的监控面临容器化和微服务化的困境 测试运维沟通鸿沟，如何提升沟通效率 监控工具繁杂，如何快速找到合适工具进行问题定位 偶发性问题场景复杂，如何保留发生现场 如何在错综复杂的未服用调用链路中找到错误源头监控场景转换 帮助运维人员快速的定位问题，解决问题 基于容器化和微服务化的监 控场景 • 应用规模巨大 • 服务之间依赖呈现为网状 • 除了日志、性能指标，需要 基于请求的依赖追踪监控 基于虚拟化的监控场景 基于虚拟化的监控场景 • 应用规模大 • 服务之间依赖呈现为线型 • 日志、性能指标需要集中化 存储 基于主机的监控场景 • 应用规模较小 • 服务之间没有互相依赖 • 日志、性能指标都在单个主 机问题一：什么是用户想要的监控 什么是用户想要的监控？分布式监控的三个维度 Metrics Logging Tracing 指标监控 • 指标可被聚合 • 体现系统性能趋势 分布式追踪 •

陈鹏、多点生活平台架构组研发工程师 • 开源项目与云原生爱好者 • 多年网上商城、支付系统相关开发经验 • 2019 年至今从事云原生和 Service Mesh 相关开发工作2/23 /01 /02 /03 为什么需要 Service Mesh 改造 探索 Istio 技术点 Dubbo 场景下 的改造 • 对比传统微服务架构 • 和 Service Mesh 化 之后有哪些优缺点 • MCP 探 索 以 及 服 务 发 现 Demo 的演示3/23 为什么需要 Service Mesh 改造 /01 对比传统微服务架构和 Service Mesh 化之后有哪些优缺点4/23 微服务 模块 • 安全 • 配置中心 • 调用链监控 • 网关 • 监控告警 • 注册和发现 • 容错和限流 特点 • 独立部署 • 强化模块边界 • 技术多样性5/23 Service MOSN 是一款使用 Go 语言开发的网络代理软件，作为云原生的网络数据平面，旨在为服务提供 多协议、模块化、智能化、安全的代理能力。MOSN 是 Modular Open Smart Network 的简称。 MOSN 可以与任何支持 xDS API 的 Service Mesh 集成，亦可以作为独立的四、七层负载均衡， API Gateway，云原生 Ingress 等使用。 配置文件 • mosn_config

异大，OP期望运维能力在不同产品线之间能够通用化， 集中化管理，甚至做到自动决策 Ø 精细故障能力（异常query、注入延迟等）期望能够标准化、低成本跨产品线复制 Ø 百度APP架构缺少上下游模块视图和流量视图，黄金指标不足，导致容量管理压测效率低、混沌工程实施成 本高、故障定位成本高。 #IstioCon 目标 l 服务治理策略平台化 联合公司内部，通过合作共建方式实现完整的Service rvice Mesh架构，提升架构策略灵活性，缩 减服务治理迭代周期，降低服务治理研发成本。 l 服务治理能力通用化 基于Service Mesh架构共建高级架构能力，为不同模块、不同产品线、甚至整个公司内提供 各项服务治理能力的通用化、中台化能力，从而加速服务治理技术的研发和迭代，提升架构 能力可移植性。 #IstioCon 技术方案 l 核心原则 Ø 务实、高稳定性、低迁移成本。 l 核心思路 Ø 先单跳，后双跳。 Ø 服务发现下沉到Envoy。 Ø 基于 RPC + 服务发现实现透明流量劫持。 Ø 自建配置中心，产品化封装。 l 关键技术 Ø 内核劫持，使用Loopback IP 与 服务发现一一对应。 Ø RPC劫持，构建可快速扩展标准方案。 Ø 自身稳定性，降级（兜底）、隔离、监控多种方式保证。 ①bns, 百度内部基础设施层,服务发现。 ②bns-agent

destination.labels["version"] | "unknown" response_code: response.code | 200 Istio & Kubernetes: 总结 对于云原生应用，采用Kubernetes构建微服务部署和集群管理能力，采用 Istio构建服务治理能力，将逐渐成为应用微服务转型的标准配置。 Agenda • Istio & Kubernetes • Istio在华为云：Kubernetes全栈容器服务 应用运维管理 丰富可定制的容器应用立体化运维 容器镜像服务 容器镜像一站式构建、存储与交付 应用编排服务 应用云上自动化编排与设施管理 云容器实例 基于K8S的Serverless容器服务 云容器引擎 企业级高可靠、高性能K8S服务 服务网格 K8S原生Service Mesh Istio在华为云：华为云容器应用 Istio在华为云：服务网格 Istio在华为云：服务网格 只需在创建集群时选 择“启用服务网格” 即可使用Istio服务治 理功能 Istio在华为云： 灰度发布流程 Y N Y N Istio在华为云： 灰度发布 Istio & Kubernetes 在Google Cloud Services Platform: bringing the best of the cloud to you Copyright©2018

destination.labels["version"] | "unknown" response_code: response.code | 20015 Istio & Kubernetes: 总结 对于云原生应用，采用Kubernetes构建微服务部署和集群管理能力，采用 Istio构建服务治理能力，将逐渐成为应用微服务转型的标准配置。16 Agenda • Istio & Kubernetes Istio在华为云：Kubernetes全栈容器服务 应用运维管理 丰富可定制的容器应用立体化运维 容器镜像服务 容器镜像一站式构建、存储与交付 应用编排服务 应用云上自动化编排与设施管理 云容器实例 基于K8S的Serverless容器服务 云容器引擎 企业级高可靠、高性能K8S服务 服务网格 K8S原生Service Mesh28 Istio在华为云：华为云容器应用29 Istio在华为云：服务网格 Istio在华为云：服务网格 只需在创建集群时选 择“启用服务网格” 即可使用Istio服务治 理功能30 Istio在华为云： 灰度发布流程 Y N Y N31 Istio在华为云： 灰度发布32 Istio & Kubernetes 在Google Cloud Services Platform: bringing the best of the cloud to you3334

SolarMesh的特点 4. SolarMesh 对Istio社区的产品化改进 5. SolarMesh的架构 6. SolarMesh 组件介绍 7. 应用场景 Copyright © 2021 Cloud To Go 为什么我们需要服务网格 - 微服务化带来的问题 错综复杂的服务调度掩盖了 问题的源头 服务间交互的复杂性： Ø 难以可视化 Ø 难以全面测试 Ø 多服务联动时问题难以察觉 Ø Ø ... 服务间通信的复杂性： Ø 网络延迟 Ø 消息序列化 Ø 不可靠的网络 Ø 异步机制 Ø ... 开发难 排错难 测试难 运维难 Ø 服务变得非常多 Ø 版本变得非常复杂 Ø 上线十分痛苦 Ø 排查问题更难 Ø 解决手段更复杂 Ø 学的东西更多 Copyright © 2021 Cloud To Go 为什么我们需要服务网格 - 业务上k8s带来的问题 Ø Kubernetes上 应用的网络问题 困扰开发、测试、运维最突出的问题: Copyright © 2021 Cloud To Go 为什么我们需要服务网格 - 服务网格带来了什么 服务网格是一个云原生的网络基础设施，它把微服务调度中有关网络的公共能力下沉，在无任何代码侵入的 情况下提供可观察性、流量管理和安全性等能力。 Copyright © 2021 Cloud To Go SolarMesh的定位

的通信带来矛盾日渐突出：流量管理、监控… 最初的尝试：Gateway • 如右图，最初我们尝试用一个自研的 简单Gateway来提供统一的认证、授 权、限流、监控，但问题很快凸显出 来了： • Gateway是一个中心化的反向代 理，成为了微服务中的瓶颈，模 块流量会互相影响 • 大锅饭带来了复杂的配置管理， 渐渐难以为继 • Istio的架构和基本原理 • FreeWheel的Istio实践 • 未来工作 • 这里实现的例子mymock会完全拒绝所有 被匹配到的流量，右图是mymock Handler的基本原理 • mymock handler 是 mymock adapter的初始化配置 • 完成初始化后rule将checknothing配置 与handler关联起来，其实就是做了流 量的匹配，满足一定条件的流量上应用 mymock handler • mymock adapter直接拒绝被匹配的请 Endpoint的配置管理有防抖动处理，即使集群中的部署变化再快， 也不会阻塞Istio • Istio其他配置管理没有防抖动处理（ VirtualService/DestinationRule等），如果用程序自动化注入这些 配置要注意在客户端实现限流 • Istio的配置管理缺少兼容性设计，CRD无法做到平滑升级 • Istio的架构和基本原理 • FreeWheel的Istio实践 • 未来工作 •