SOFA MESH 的通用协议扩展 Service Mesh Meetup #3 深圳站 邵俊雄（熊啸） 2018.08.25AGENDA • SOFA MESH 介绍 • SERVICE MESH 落地的问题 • SOFA MESH 的通用落地方案 • DNS 服务寻址方案 • X-PROTOCOL 通用协议 • 问答SOFA MESH • 从 ISTIO 克隆并保持同步更新 • 使用 使用 Controller Pattern 通过 CRD 扩展新的能力 • …MESH 落地碰到的问题 • 客户端服务发现与负载均衡无法与 ISTIO 一起工作 • ENVOY 不支持微服务使用的通信协议 • RPC 服务使用的接口，方法，参数语义无法匹配 ISTIO 的路由模 型 • 一个应用上部署了多个 RPC 服务，每个服务有自己的版本 • …ISTIO 控制平面路由的抽象模型 INBOUND DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持SOFA MESH 的统一解决方案 • 采用 Kubernetes Native 方式落地微服务应用 • 使用 INTERFACE 作为 DNS 来寻址服务 • 开发一个通用协议处理框架 • 避免为不同的微服务框架修改 PILOT 代码 • 通过插件的方式按需支持新的协议 • 对应用代码无侵入性 • 为微服务框架提供轻量化客户端落地一个微服务框架需要的工作

Istio 流量管理原理与协议扩展 赵化冰 赵化冰 腾讯云 服务网格团队 https://zhaohuabing.com Service Mesh Service Mesh Layer 处理服务间通信（主要是七层通信）的云原生基础设施层： Service Mesh 将各个服务中原来使用 SDK 实现的七层通信相关功能抽象 出来，使用一个专用层次来实现，Service Mesh 对应用透明，因此应用 通信安全： 服务身份认证、访问鉴权、通信加密 Proxy Application Layer Service 1 Istio 流量管理 – 概览 • 控制面下发流量规则： Pilot • 数据面标准协议：xDS • 集群内Pod流量出入： Sidecar Proxy • 集群外部流量入口：Ingress Gateway • 集群外部流量出口：Egress Gateway（可选,在一个集中点对外部访问进行控制） Service CLB 对外请求 对外请求（Passthrough/ServiceEntry） 缺省路由 （服务名） 5 Istio 流量管理 – 数据面 – Envoy配置模型和xDS协议 ADS Server LDS RDS CDS EDS Envoy 配置模型的主要概念： • Downstream：连接到 Envoy 的下游 Host，发送请求并接收响应。 • Upstream：

链滴 consul 命令行 作者：boolean-dev 原文链接：https://ld246.com/article/1545917811707 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) consul命令行 ● advertise：广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下，-bind通告地 。但是，在某些情况 置为 go-sockaddr 模板 ● -bootstrap： 此标志用于控制服务器是否处于“引导”模式。重要的是，在此模式下，每个数据中 只能运行一台服务器。从技术上讲，允许自举模式的服务器作为Raft领导者自行选举。重要的是只有 个节点处于这种模式; 否则，无法保证一致性，因为多个节点能够自我选择。在引导群集后，建议不 使用此标志。 ● -bootstrap-expect：此标志提供数据中心 如果指定“[::]”，Consul将 通告第一个可用的公共IPv6地址。如果有多个可用的公共IPv6地址，Con ul将在启动时退出并显示错误。Consul同时使用TCP和UDP以及相同的端口。如果您有防火墙，请务 同时允许这两种协议。在Consul 1.0及更高版本中，可以将其设置为需要解析为单个地址的go-socka dr模板。 ● -serf-wan-bind ：应该绑定到Serf WAN八卦通信的地址。默认情况下，该值遵循与-bind命令行

是一个开源项目，诞生于 2013 年初，最初是 dotCloud 公司内部的一个业余项目。它基于 Google 公司推出的 Go 语言实现。 项目后来加入了 Linux 基金会，遵从了 Apache 2.0 协议，项目代码在 GitHub 上进行维护。 Docker 自开源后受到广泛的关注和讨论，以至于 dotCloud 公司后来都改名为 Docker Inc。Redhat 已经在 其 RHEL6.5 API 安全：支持 HTTPS 方式的访问 快速：支持并发 1k/s 的写操作 可靠：支持分布式结构，基于 Raft 的一致性算法 注：Apache ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。 注：doozer 则是一个 一致性分布式数据库。 注：Raft 是一套通过选举主节点来实现分布式系统一致性的算法，相比于大名鼎鼎 的 Paxos 算法，它的过程更容易被人理解，由 14:52:10 raft: ce2a822cea30bfca became follower at term 0 2014/12/31 14:52:10 raft: newRaft ce2a822cea30bfca [peers: [], term: 0, commit: 0, lastindex: 0, lastterm: 0] 2014/12/31 14:52:10 raft: ce2a822cea30bfca

[scheme][server:port]/volume/bucket/key 其中，Scheme可以选 a) o3 - 通过 RPC 协议访问 Ozone Manager 和 Datanodes b) http/https - 通过 HTTP 协议访问 REST API Scheme可以省略，这种情况下默认使用RPC协议。Server:Port 是 Ozone Manager 的地址。如果没有指定，则用定义在 ozone-site Volume, Bucket 和 Key 的新建，更新和删除操作。存储了 Ozone 的元数据信息，这些元数据信息包括 Volumes、Buckets 和 Keys，底层通过 Ratis（实现了Raft协议） 扩展元数据的副本数来实现 元数据的 HA。Ozone Manager 只和 Ozone Client 和 Storage Container Manager 通信，并不直接和 Datanode 对应的Pipeline 的Datanode 列表信息返回给Ozone Manager。Ozone Manager 返回对应的信息给客户端。 客户端拿到Datanode列表信息之后，和第一个Datanode（Raft Leader）建立通信，将数据写入Datanode 的Container 中，更新Container 的元数据，记录新增加的这个数据块。 最后，客户端再和Ozone Manager 通信，告知数据已经成功的在

配置调优 CNI 17.2. 其他资源 第 第 18 章 章 在裸机集群中使用流控制 在裸机集群中使用流控制传输协议 传输协议 (SCTP) 18.1. 支持 OPENSHIFT CONTAINER PLATFORM 上的流控制传输协议 (SCTP) 18.2. 启用流控制传输协议 (SCTP) 83 83 85 85 90 90 92 92 92 92 93 93 94 94 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18.3. 验证流控制传输协议 (SCTP) 已启用 第 第 19 章 章 使用 使用 PTP 硬件 硬件 19.1. 关于 PTP 硬件 19.2. 关于 PTP 19.3. OPENSHIFT CONTAINER PLATFORM OpenShift Container Platform 的服务和路由提供名称解析。 基于 基于 HTTP 的路由 的路由 基于 HTTP 的路由是一个不受保护的路由，它使用基本的 HTTP 路由协议，并在未安全的应用程序端 口上公开服务。 入口 入口 OpenShift Container Platform 中的 Kubernetes Ingress 资源通过作为集群内 pod 运行的共享路由器

Broker Instance 上面启动三个 Broker 实例，每个 Broker 实例会在 三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例因故障无法提供服务，Raft 协议会自动在另外两个 Instance 中选择一个作 为 Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page Management (IAM) 实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使用已有 的安全组）。 • 在私有⼦网中，一个可自定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ

Broker Instance 上面启动三个 Broker 实例，每个 Broker 实例会在三个 Broker Instance 之间形成一个基于 Raft 的高可用 dledger 集群，如果其中一个 Broker 实例 因故障无法提供服务，Raft 协议会自动在另外两个 Instance 中选择一个作为 Master 继续提供服务从而达到高可用的效果，下图是部署完的一个架构实例图 Page ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ （如果您选 择的是启动在已有 VPC 中，您需要提前创建此安全组或者使 ⽤已有的安全组）。 • 在私有⼦⽹中，⼀个可⾃定义单独运⾏或者在副本集中运⾏的 Apache RocketMQ

etcd 将数据写入磁盘并在磁盘上持久化，所以其性能取决于磁盘性能。虽然 etcd 并不是有非常高的 I/O 负载，但它需要使用一个具有低延迟的块设备才能获得最佳性能和稳定性。因为 etcd 的共识协议依 赖于将元数据永久存储到一个日志 (WAL)，所以 etcd 对磁盘的写延迟非常敏感。减慢来自其他进程的磁 盘活动和磁盘活动可能会导致长时间的 fsync 延迟。 这些延迟可能会导致 etcd PCI 透传将 NVM 设备直接传递给节点。 始终使用相关工具（如 fio）进行基准测试。当集群性能增加时，您可以使用这些工具不断监控集群性 能。 注意 注意 避免使用网络文件系统 (NFS) 协议或其他基于网络的文件系统。 需要在部署的 OpenShift Container Platform 集群上监控的一些关键指标包括，日志持续时间之前的 etcd 磁盘写入的 p99 值，以及 etcd ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS | +---------------------------+------------------+---------+--

for Taobao B2C Trading Aliw a reM Q Ap a che In cuba tin g 分布式事务消息 原生消息轨迹，AC L 支持 存储架构全面升级，RAFT 存储开源 轻量级Pull con sum er 发布 Request-Rep ly 特性支持 IPv 6 支持 © 2 0 1 7 A l i b a b a M i d d eta Q v 2 .0 RocketM Q v 3 .0 Ap a che RocketM Q 4.x Lin ux Op en M essa gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准 gRPC 协议 • 无状态 Pop 消费模式，多语言友好，易集成 从业务走向数据： • 事件流场景支撑 • 面向 SQL 的轻量级实时计算引擎 可分可合的存储计算分离： • Broker 升级为真正的无状态服务节点，无