bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443， 里，虽然底层是vxlan隧道，所有的pod处于一个overlay网络里，但为了避免二 层的广播流量占用大量的网络带宽，所以k8s把pod网段进一步细分了，各服务 器占一个子网段，然后各pod子网之间是走路由转发的，路由下一跳为flannel.1 设备，它再进行vxlan封装。 ★veth-pair虚拟网络接口 veth pair是成对的虚拟网络设备，一端连接自己的namespace的tcp/ip协议栈， ，它是由 kube-proxy组件实现的，创建一个service资源时，先注册此服务的dns条目，让 服务名称解析到service-ip，kube-proxy会想办法让访问service-ip的流量转发到真 实pod里面去，如果一个service服务后端对应多个pod，则kube-proxy会使用负 载均衡机制。 ★每创建一个service资源，就会创建一个同名的EndPoints Endpo

probes）。 在必要时创建mirror pod ，从⽽将pod的状态报告回系统的其余部分。 将节点的状态报告回系统的其余部分。 kube-proxy kube-proxy 在主机上维护⽹络规则并执⾏连接转发，从⽽来实现Kubernetes服务抽象。 docker 04-K8s组件 16 docker ⽤于运⾏容器。 rkt rkt 是⼀个Docker的替代品，⽀持在实验中运⾏容器 ice。 apiserver - > kubelet 从apiserver到kubelet的连接⽤于： 获取Pod的⽇志。 通过kubectl连接到运⾏的Pod。 提供kubelet的端⼝转发功能。 这些连接终⽌于kubelet的HTTPS端点。默认情况下，apiserver不验证kubelet的证书，这使得连接可能会受到中间⼈的 攻击，并且在不可信/公共⽹络上运⾏是不安全的。 要验证此连接，请使⽤ （与3同时），Pod将从该服务的端点列表中删除，并且不再被认为是replication controllers正在运⾏的Pod的⼀部 分。 缓慢关闭的Pod可以继续接收从load balancer转发过来的流量，直到load balancer将其从可⽤列表中移除。 8. 当优雅关闭时间到期时，仍在Pod中运⾏的任何进程都会被SIGKILL杀死。 9. 通过设置优雅关闭时间为0（⽴即删除），Kubelet将在API

年） 34 （二）功能方面，云计算持续驱动算力服务创新发展 算力服务中，算力资源从接入到分发给用户产生计算价值，已 经形成较为清晰的算力分配链条。云计算的发展促进算力分发链条 中感知接入、路由转发和融合调度等方面创新升级。 感知接入方面，云计算助推异构算力泛在接入，加速算力并网 演进。随着应用场景的不断丰富，通用计算已难满足日益增长的用 户诉求，智算、超算等异构资源需求高涨，如何实现广泛、高效地 供商之间的壁垒，形成算力资源一张网，有效促进算力资源的流动。 路由转发方面，云计算打破网络与应用的边界，支撑可编程网 络实现算力路由的精准度量。当前，云网业务模式下的算力和网络 仍然相对独立，无法完成统一交付，造成大量的资源浪费。以 SRv6 为代表的网络可编程路由技术能够将业务需求与算力信息随数据包 携带进入网络，改变了传统网络只能基于 IP 地址的转发模式，充分 发挥网络在云边端多级算力资源分布环境下的调度优势，推动算网 深度融合。一是提高网络调度精度，网络充分感知业务与资源信息， 将需求解构匹配合适的算力资源节点，提高网络基于算力的度量精 度；二是优化网络转发路径，结合 SDN 管控与编排能力制定基于全 云计算白皮书（2023 年） 35 局信息的网络转发策略，实现网络路径可视、可管、可控，提升端 到端的网络服务质量；三是增强网络内生算力，网络同时作为计算 节点保障业务数据传递效能。网络可编程能力提高了网络计算的颗

kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 能。 kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker 口如8080端口，并且将这些Pod的EndPoint列表加入到8080的 转发列表中，服务端就可以通过负载均衡器的对外IP+服务端口号访问此服务，而客户端的请求最后会转发到哪个Pod， 是由负载均衡器的算法所决定。 运行在Node节点上的kube-proxy进程其实就是一个智能的负载均衡器，他负责把Service的请求转发到后端的某个 Pod实例上，并在内部实现服务的负载均衡与会话保持机制。 但

支持流量放大、缩小  一键批处理压测 服务网格  智能负载均衡  流量路由策略  服务保护机制 混沌军团  随机关闭生产环境中的实例，模拟服 务故障  引入人为延时，模拟服务降级  寻找未使用、可被清理的资源  寻找不符合预定义最佳实践的服务  发现和跟踪异常修改，排查安全问题 DCBrain 根因分析  自动发现依赖拓扑 

网关 Kube-proxy负责将发往 Service IP 的流量量转 发到对应的Pod。启动时将 kube-proxy的 masquerade-all 选项打开，这样 kube- proxy 转发给Pod的包会实现源地址转换 （SNAT） Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod Pod BGPD Kube-proxy 北北京 UK8S托管⽅方案 • 业务流量量⼊入⼝口由公有云的ULB和node节点承载。 • 通过在k8s集群中定义LoadBalance类型的service，业 务流量量可以先通过ULB转发到公有云Node节点上，再 通过公有云节点上kube-proxy配置的iptables规则转 发到整个集群中实际⼯工作的pod。 • 集群内部通信通过kubeproxy完成。 Client

空间上报 自动调度 共享云盘 containe r 内置云盘 containe r • 基于本机磁盘 • 上报至调度器 • 作为资源进行调度 本地磁盘 2类存储，3种场景 本地磁盘：延时低，不可迁移 共享云盘：云存储，多容器共享，同时读写 内置云盘：云存储，每容器独享，用户无感知 云存储 • 支持在线扩容、quota管理、权限管理 • 共享云盘基于cephFS • 内置云盘基于cephRBD

框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 提供示例代码，便于新手快速使用客户端编程消费该配置，降低新手使用门槛。 微服务网关 微服务网关肩负管理微服务南北流量管控的重要作用，提供 API 管理、接口 限流、多种策略安全认证、黑白名单、路由转发、MockAPI 等能力，同时提供 企业级高性能和高扩展的云服务能力。 ➢ 多网关管理：原生支持对容器管理模块中的多集群、多命名空间的网关实例进行管 理，支持网关实例的全生命周期管理。 ➢

全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace 读取 集群升级

scheduler和kube-controller- manager 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes cluster HA etcd cluster