v1.18 Controls 1.1 Etcd Node Configuration Files 1.1.11 Ensure that the etcd data directory permissions are set to 700 or more restrictive (Automated) 1.1.12 Ensure that the etcd data directory ownership ownership is set to etcd:etcd (Automated) 1.1.19 Ensure that the Kubernetes PKI directory and file ownership is set to root:root (Automated) 1.1.20 Ensure that the Kubernetes PKI certificate file permissions root:root (Automated) 1.1.7 Ensure that the etcd pod specification file permissions are set to 644 or more restrictive (Automated) 1.1.8 Ensure that the etcd pod specification file ownership is set to root:root

Master Node Configuration Files 1.2 API Server 1.3 Controller Manager 1.4 Scheduler 2 Etcd Node Configuration 2 Etcd Node Configuration Files 3 Control Plane Configuration 3.2 Logging 4 Worker Node Security that the etcd pod specification file permissions are set to 644 or more restrictive (Scored) Result: Not Applicable Remediation: RKE doesn’t require or maintain a configuration file for etcd. All configuration configuration is passed in as arguments at container run time. 1.1.8 Ensure that the etcd pod specification file ownership is set to root:root (Scored) Result: Not Applicable CIS Benchmark Rancher Self-Assessment

Master Node Configuration Files 1.2 API Server 1.3 Controller Manager 1.4 Scheduler 2 Etcd Node Configuration 2 Etcd Node Configuration Files 3 Control Plane Configuration 3.2 Logging 4 Worker Node Security that the etcd pod specification file permissions are set to 644 or more restrictive (Scored) Result: Not Applicable Remediation: RKE doesn’t require or maintain a configuration file for etcd. All configuration configuration is passed in as arguments at container run time. 1.1.8 Ensure that the etcd pod specification file ownership is set to root:root (Scored) Result: Not Applicable CIS 1.5 Benchmark - Self-Assessment

© XXX Page 1 of 30 Curve元数据节点高可用© XXX Page 2 of 30 1. 需求 2. 技术选型 3. etcd clientv3的concurrency介绍 3.1 etcd clientV3的concurrency模块构成 3.2 Campaign的流程 3.2.1 代码流程说明 3.2.2 举例说明Campagin流程 3.3 Observe的流程 Curve中MDS的选举过程 4.2 图示说明选举流程 4.2.1 正常流程 4.2.2 异常情况1：MDS1退出，可以正常处理 4.2.3 异常情况2：Etcd集群的leader发生重新选举，MDS1未受影响，可以正常处理 4.2.4 异常情况3：Etcd的leader发生重新选举，MDS1受到影响退出，不一定可以正常处理。 4.2.4.1 LeaseTIme < ElectionTime的情况 4 ElectionTime 4.2.4.3 MDS1、MDS2、MDS3的租约全部过期 4.2.4.4 总结 4.2.5 异常情况四: Etcd集群与MDS1(当前leader)出现网络分区 4.2.5.1 事件一先发生 4.2.5.2 事件二先发生 4.2.6 异常情况4：Etcd集群的follower节点异常 4.2.7 各情况汇总 1. 需求 mds是元数据节点，负责空间分配，集群状态监控，集群

4.11 - Ensure that the etcd data directory permissions are set to 700 or more-restrictive (Scored) 1.4.12 - Ensure that the etcd data directory ownership is set to etcd:etcd (Scored) 2.1.8 - Ensure Ensure that the --etcd-certfile and --etcd-keyfile arguments are set as appropriate (Scored) Audit ( --etcd-certfile ) docker inspect kube-apiserver | jq -e '.[0].Args[] | match("--etcd-certfile=.*") Value: --etcd-certfile=/etc/kubernetes/ssl/kube-node.pem Audit ( --etcd-keyfile ) docker inspect kube-apiserver | jq -e '.[0].Args[] | match("--etcd-keyfile=.*").string' Returned Value: --etcd-keyfi

KUBELETCONFIG CRD 来编辑 KUBELET 参数 1.3. 修改不可用 WORKER 节点的数量 1.4. CONTROL PLANE 节点大小 1.5. 推荐的 ETCD 实践 1.6. 将 ETCD 移动到不同的磁盘 1.7. 分离 ETCD 数据 1.8. OPENSHIFT CONTAINER PLATFORM 基础架构组件 1.9. 移动监控解决方案 1.10. 移动默认 REGISTRY control plane 机器获取实例。 2. 选择一个 control plane 机器实例。 a. 对于所选 control plane 机器，通过创建 etcd 快照来备份 etcd 数据。如需更多信息，请参阅 "恢复 etcd"。 b. 在 AWS 控制台中，停止 control plane 机器实例。 c. 选择已停止的实例，然后点 Actions → Instance Settings 机器重复此步骤。 其他 其他资 资源 源 备份 etcd 1.5. 推荐的 ETCD 实践 因为 etcd 将数据写入磁盘并在磁盘上持久化，所以其性能取决于磁盘性能。虽然 etcd 并不是有非常高的 I/O 负载，但它需要使用一个具有低延迟的块设备才能获得最佳性能和稳定性。因为 etcd 的共识协议依 赖于将元数据永久存储到一个日志 (WAL)，所以 etcd 对磁盘的写延迟非常敏感。减慢来自其他进程的磁

controller manager - Install API server - Config them correctly - Start them Installation - etcd - SSH - Install etcd - Config them correctly - Start them Installation kops, kubeup.sh, kube-AWS,... AWS runtime - Upgrade Kubelet Upgrade - master - SSH - Upgrade master components Upgrade - etcd - SSH - Upgrade etcd Upgrade kops AWS, GCP API node1 node2 node3 Rollback ??? AWS, GCP API node1 node2 ootkube How Bootkube Works etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server Scheduler Controller Manager etcd Kubelet Bootkube API Server

OPENSHIFT CONTAINER PLATFORM 节点主机的推荐做法 3.3. OPENSHIFT CONTAINER PLATFORM ETCD 主机的建议实践 3.3.1. 通过 OpenStack 使用 PCI 透传向 etcd 节点提供存储 3.4. 使用 TUNED 配置集扩展主机 第 第 4 章 章 优 优化 化计 计算 算资 资源 源 4.1. 过量使用 4.2. OpenShift Container Platform master 主机和 etcd 之间。OpenShift Container Platform API 服务器（master 二进 制的一部分）在节点状态、网络配置、secret 等方面咨询 etcd。 通过以下方法优化此流量路径： 在 master 主机上运行 etcd。默认情况下，etcd 在所有 master 主机上的静态 pod 中运行。 确保 apiserver_request_count 速率指标，并相应地调整 maxRequestsInFlight 和 QPS。 更改默认值时，需要有一个很好的平衡，因为 API 服务器的 CPU 和内存消耗，etcd IOPS 会在并行处理 更多请求时增加。另请注意，大量非watch 请求可能会在固定 60 秒超时后取消 API 服务器过载，客户端 开始重试。 API 服务器系统中提供了足够的 CPU 和内存资源，API

4. 12 - E n s u r e t h at t h e e t c d d at a d i r e c t or y ow n e r s h i p i s s e t t o etcd:etcd . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2. 1 - R an c h e r HA K u b e r n e t e an d : ps -ef | grep etcd R u n t h e b e l ow c om m an d ( b as e d on t h e e t c d d at a d i r e c t or y f ou n d ab ov e ) . F or e x am p l e , stat -c %a /var/lib/etcd Ve r i f y t h at t h e t t o etcd:etcd P r ofi l e A p p l i c ab i l i t y • Le v e l 1 4 D e s c r i p t i on E n s u r e t h at t h e e t c d d at a d i r e c t or y ow n e r s h i p i s s e t t o etcd:etcd. R at i

1.22.5 1.22.6 1.22.7 1.23 1.23.1 1.23.2 1.23.3 1.23.4 1.23.5 命名空间 控制组 联合文件系统 容器格式 网络 Etcd 项目 简介 安装 集群 使用 etcdctl CoreOS 项目 简介 工具 快速搭建 CoreOS 集群 Kubernetes 项目 简介 快速上手 基本概念 kubectl 的基本概念和操作；7 ~ 9 章介绍包括数据管理、网络等高级操作；第 10 ~ 13 章介绍了容器生态中的几个核心项目；14、15 章讨论了关于 Docker 安全和实现技术等高级 话题。后续章节则分别介绍包括 Etcd、CoreOS、Kubernetes、Mesos、容器云等热门开源 项目。最后，展示了使用容器技术的典型的应用场景和实践案例。 在线阅读：GitBook，Github，国内镜像 下载：pdf Drone 增加 docker secret 相关内容 增加 docker config 相关内容 增加 LinuxKit 相关内容 更新 CoreOS 章节 更新 etcd 章节，基于 3.x 版本 删除 Docker Compose 中的 links 指令 替换 docker daemon 命令为 dockerd 替换 docker ps