Kubernetes安全求生指南 ©2019 VMware, Inc. 2  您的Kubernetes環境夠安全嗎?  Kubernetes安全最佳實務  VMware Enterprise PKS平台如何實踐K8s與容器的安全強化  最困難的部分其實是....  總結 本日議程 3 ©2019 VMware, Inc. 您的Kubernetes環境夠安全嗎? ©2019 VMware, Inc. 4 ​整個Kubernetes運作環境是相當不安全的....  原生Kubernetes在安全設計上就有許多改善空間  公版Kubernetes許多預設值是不適當的  關於網路層級的安全實際上還有許多地方並未涵蓋  設計上並不特別考慮企業多團隊/多應用的分工與隔離  有非常多層次例如: 容器/映像/作業系統/基礎架構也須涵蓋 您知道所謂 “安全”的“標準”是什麼?  這些“標準”涵蓋範圍夠嗎? 足夠讓我們安心推上生產嗎?  我們具體該怎麼做來強化安全?  我們怎麼知道我們做強化安全以後有滿足這個標準...還是這些標準?  我們該如何確保安全性在未來開發/維運一直維持達標?  我們如何用最低的負荷與最快的速度完成上述任務? 隨便Google就可找到好幾卡車的Kubernetes安全最佳實務/指南

知 建议仅在短期测试集群中使⽤，因为增加了bug带来的⻛险，⽽且缺乏⻓期⽀持 Beta级别: 版本名称包含 beta （例如 v2beta3 ） 代码经过了良好的测试。启⽤该功能被认为是安全的。 默认启⽤ 整体功能不会被删除，尽管细节可能会改变 对象的schema/语义可能会在后续的beta版/稳定版本中以不兼容的⽅式发⽣变化。发⽣这种情况时，我们将提 供迁移到下⼀个版本的说明。 我们会为apiserver配置监听启⽤了⼀种或多种形式的客户端 authentication 的安全HTTPS端⼝（443）。应启⽤⼀种或 多种 authorization 形式，特别是允许 anonymous requests 或 service account tokens 的情况下 应为Node配置集群的公共根证书，以便安全地连接到apiserver。例如，在默认的GCE部署中，提供给kubelet的客户端 希望连接到apiserver的Pod可通过服务帐户安全地进⾏，这样，Kubernetes就会在实例化时，⾃动将公共根证书和有效 的承载令牌注⼊到该Pod中。 kubernetes 服务（在所有namespace中）配置了⼀个虚拟IP地址（通过kube-proxy）重 定向到apiserver上的HTTPS端点。 Master组件通过不安全（未加密或验证）端⼝与集群apiserver通信。

长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 采纳 24. Colima 试验 25. CloudEvents 26. DataOps.live 27. Google 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 新的 挪进 / 挪出 没有变化 © Thoughtworks, Inc. All Rights Reserved. 12

主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 8.2 8.4 8.6 8.8 9 100 300 500 内存占用率对比 裸金属容器进程内存 虚机容器进程内存 对比结论： 在同等压力下裸金属容器的响应时延减少1 倍，裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍，但是cpu资源的占用 却只多出60%左右，同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 dows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力，支持容器CPU/内存资源编排，无状态/ 有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务

Sealos是云操作系统发行版本 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 有了 sealos 就可以一条命令构建一朵云 抛弃 IaaS PaaS SaaS 拥抱 云内核 架构 nginx 应用 • 其它应用同理如博客系统 低代 码平台等 java/go/python/node.js/html 轻松运行到 sealos 上 • 一个集群多个部门多个组 织共同使用 • 相互安全隔离 • 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码，毫秒级上线，0 运 维 数据库管理 可以把整个集群像Docker 一样打包，一键交付 ， 有轻量化、超高性能、极易管 理等特点 自研 负载均衡器， 可支撑超大规模数万节点 集群运行 ，运行速度全球领先，毫秒级发布 更高稳定性 实现安全隔离 轻量化 数万节点集群运行 运行速度 全球领先 超高性能 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 到处运行 Sealos Centos

应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持以命名空间或集群粒度制定网络策略，限定容器组与网络平上网络” 实体“通信规则。 ➢ 配额策略，支持以命名空间或集群粒度设定配额策略，限制集群内的命名空间的资源 使用。 维度进行容 灾备份，保障集群的安全性。 版权 © 2023 DaoCloud 第 10 页 ➢ 安全策略，支持以命名空间或集群粒度设定安全策略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操作记录。通过操作记录您可以快速实现安全分析、资源变 更、问题定位等。 ➢ 平台设置：通过平台安全策略、邮件服务器、外观定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应

访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地（内存中） Informer 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中的对象都保存在内存中，如果对象很多，内存占用会比较大， 所以一方面要根据单个对象大小以及总得对象规模来评估 controller 内 存消耗。 另一方面 informer 提供了同类型对象的共享机制，降低内存开销 近距离感受 list & watch 机制 Cache 本质及开发建议 相信 Cache

舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群 con mod ens33 ipv4.gateway 10.99.1.1 # nmcli con up ens33 ③关闭seLinux 若不会配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 244.0.0/16" accept' # firewall-cmd --run�me-to-permanent # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 RCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 • 集群节点（DaemonSet /Standalong） 问题检测 • 硬件（CPU、内存、磁盘） • 操作系统（ NTP、内核死锁、文件系统异常） • Container Runtime（无响应） 问题上报 Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容

容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 ⽤和⼯具。简化集群的搭建和扩容等运维类⼯作，整合⾸云虚拟化（裸⾦属）、存储、⽹络和安全能⼒， 打造云端最佳的容器化应⽤运⾏环境。 简介 1.产品简介 3 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 Init Container：勾选该项，表示创建⼀个 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务 ⽀持容器组（Pod）的弹性伸缩，即根据容器 CPU 和内存资源占⽤情况⾃动调整容器副本数 量。 指标：可选 CPU 使⽤量和内存使⽤量，需要和设置的所需资源类型相同。 触发条件：资源使⽤率的百分⽐，超过设置的Pod request值，容器开始扩容。 最⼤副本数：该 Deployment