Copyright © 2019 HashiCorp Consul及Consul Connect介紹 Service Mesh Made Easy 劉宇雷-Hashicorp Solutions Engineer Agenda 1. 服務網格是什麼? 簡要歷史回顧 2. 什麼是Consul，它如何工作? 3. 演示: 如何在非容器化的環境下使用Consul的服 務網格 4. 問&答 ⁄ 簡要歷史回顧: Hashicorp聯合創始人 Armon Dadgar Mitchell Hashimoto Co-Founders and Co-CTOs Products: Terraform, Vault, Consul, Nomad, Packer, Vagrant 公有雲出現之前的軟件網絡安全 軟體所運行在企業的數據中心中固定的服務器 上，由防火牆和負載均衡器保護。 軟體的網絡安全是基於IP地址和端口，以及防 單體式軟體被分割成了小的功能模塊（可能是 容器化了的微服務），這些模塊在雲上更容易 實施也更容易擴展 但是網絡邊界怎麼辦? 零信任網絡 安全 數據加密, 認證, 授 權 ⁄ How does Consul work? Consul是什麼? Consul是一個服務網格解決方案，它提供了一整套完整的控制層方案，包 括： 服務發現, 服務配置, 服務網絡隔離及互聯等功能. 功能 服務註冊 對⽬前所有的服務、它們提供服務的位置以及健康

链滴 consul 集群搭建 作者：boolean-dev 原文链接：https://ld246.com/article/1545917881597 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) consul集群搭建 consul agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64 -ui - lient=192.168.64.59 -server -bootstrap-expect 1 consul agent -data-dir /tmp/node1 -node=node1 -bind=192.168.64.94 -datacenter=dc1 -ui consul agent -data-dir /tmp/node2 -node=node2 -bind=192.168.64 64.249 -datacenter=dc1 -ui client=192.168.64.249 consul join 192.168.64.59 consul members -rpc-addr=192.168.64.59:8400 consul join -rpc-addr=192.168.64.249:8400 192.168.64.59 agent -data-dir /tmp/node0

链滴 consul 命令行 作者：boolean-dev 原文链接：https://ld246.com/article/1545917811707 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) consul命令行 ● advertise：广告地址用于将我们通告的地址更改为群集中的其他节点。默认情况下，-bind通告地 。但是，在某些情况 为WAN进行闲聊，同时使 专用VLAN互相闲聊及其客户端代理，并且如果远程数据中心是远程数据中心，则允许从远程数据中 访问此地址时访问客户端代理。配置了translate_wan_addrs。在Consul 1.0及更高版本中，这可以 置为 go-sockaddr 模板 ● -bootstrap： 此标志用于控制服务器是否处于“引导”模式。重要的是，在此模式下，每个数据中 只能运行一台服务器。从 或者该值必须与群 中的其他服务器一致。提供后，Consul将等待指定数量的服务器可用，然后引导群集。这允许自动选 初始领导者。这不能与传统-bootstrap标志一起使用。此标志需要-server模式。 ● -bind：应绑定到内部群集通信的地址。这是群集中所有其他节点都应该可以访问的IP地址。默认 况下，这是“0.0.0.0”，这意味着Consul将绑定到本地计算机上的所有地址，并将 第一个可用的私有

1 梁成 腾讯云, barryliang@tencent.com 基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 现网配置是否全部一致？ 日志上报是否有延时？ Filebeat是否资源消耗过多？ Filebeat异常退出如 何处理？ 如何做上报性能调优？ 6 系统架构 云Kafka Api-server2 Consul 云ES Agent-1 Agent-N Agent-1 Agent-N 数据流 配置监听 Agent注册 配置下发 Web-UI Api-server1 HostGroup Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent id路径，实时感 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash

Mesh9/总页数 注册中心与高可用方案 /0210/总页数 • Consul is a tool for service discovery and configuration. Consul is distributed, highly available, and extremely scalable. • Consul provides several key features: • Storage • Multi-Datacenter 注册中心 - Consul11/总页数 注册中心 - Consul • Consul 架构12/总页数 注册中心 - Consul • 注册中心容灾 服务端容灾 • 部分节点宕机 • 网络分区 客户端容灾 • 注册中心完全不可用13/总页数 注册中心 - Consul Servers Quorum Size Failure Tolerance Tolerance 1 1 0 2 2 0 3 2 1 4 3 1 5 3 2 6 4 2 7 4 3 • 服务端容灾与节点数14/总页数 注册中心 - Consul • 客户端容灾 客户端缓存 ！15/总页数 注册中心 - Consul • 架构设计 • 多地域？ • 多租户？16/总页数 通过治理策略保证服务高可用 /0317/总页数 治理策略 & 高可用 描述 N个9 可用性级别

Mesh的发展 • 控制面对数据面软硬件的统一控制能力？ • 通过控制面API接入各种丰富的应用场景 - 下一个热点？总体架构-高层视图 DexMesh控制面 MSB-SDClient MSB-Consul Jaeger DexMesh数据面 Pod Microservice Envoy Desktop OtherSystems Mobile DexMesh Ingress Pod Sidecar Sidecar MSB(Consul) Service Registry Registration Registration Pilot Pull Services xDS Client Request Client Request Client RequestConsul Registry遇到的坑： 1.0版本的Consul Registry只能算PoC（原型验证），远未达到产品要求 Registry只能算PoC（原型验证），远未达到产品要求 CPU占用率超高不下 (Pilot+Consul 占用冲高到 400%) • TIME_WAIT Sockets 太多导致FD耗光 Consul Registry优化 • 增加数据缓存，减少无谓的Consul Catalog API调用 • 将Polling改为Watch，大幅降低Consul服务数据变化后的同步时延 优化效果 • 200个服务的规模下，CPU占用率降低了一个数量级

will be using etcd as the topology service. The command make tools can also install Zookeeper or Consul for you, which requires additional dependencies. • Vitess currently has some additional tests written will be using etcd as the topology service. The command make tools can also install Zookeeper or Consul for you, which requires additional dependencies. • Vitess currently has some additional tests written implementation to support multiple backend technologies for the Topology Service (etcd, ZooKeeper, Consul). Concretely, the Topology Service handles two functions: it is both a distributed lock manager and

celery[slmq]: for using the SoftLayer Message Queue transport (experimental). celery[consul]: for using the Consul.io Key/Value store as a message transport or result backend (experimental). celery[django]: backend settings Couchbase backend settings CouchDB backend settings File-system backend settings Consul K/V store backend settings Message Routing Broker Settings Worker Events Remote Control Commands directory to store the results. See File-system backend settings. consul Use the Consul [http://consul.io/] K/V store to store the results See Consul K/V store backend settings. result_serializer Default: json

celery[slmq]: for using the SoftLayer Message Queue transport (experimental). celery[consul]: for using the Consul.io Key/Value store as a message transport or result backend (experimental). celery[django]: backend settings Couchbase backend settings CouchDB backend settings File-system backend settings Consul K/V store backend settings Message Routing Broker Settings Worker Events Remote Control Commands directory to store the results. See File-system backend settings. consul Use the Consul [http://consul.io/] K/V store to store the results See Consul K/V store backend settings. result_serializer Default: json

celery[slmq]: for using the SoftLayer Message Queue transport (experimental). celery[consul]: for using the Consul.io Key/Value store as a message transport or result backend (experimental). celery[django]: backend settings Couchbase backend settings CouchDB backend settings File-system backend settings Consul K/V store backend settings Message Routing Broker Settings Worker Events Remote Control Commands to store the results. See File-system backend settings. consul Use the Consul [https://consul.io/] K/V store to store the results See Consul K/V store backend settings. result_serializer Default: json