Kubernetes开源书 - 周立
18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 27-Ingress Resources 28-动态⽔平扩容 29-实战:使⽤K8s编排Wordpress博客 2 简介 Kubernetes开源书。不啰嗦了,JUST 01-什么是Kubernetes 5 资源隔离:可预测的应⽤程序性能。 资源利⽤:效率⾼,密度⾼。 为什么我需要Kubernetes,它能⼲啥? 最基本的功能:Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽,Kubernetes还允许开发⼈员将物理 机以及虚拟机 “从主机为中⼼的基础设施转移到以容器为中⼼的基础设施”,从⽽提供容器固有的全部优势。 Kubernetes提供了构建以容器为中⼼的开发环境的基础架构。 群(1.11.2) 14 K8s组件 本⽂概述了Kubernetes集群中所需的各种组件。 Master组件 Master组件提供K8s集群的控制⾯板。Master对集群进⾏全局决策(例如调度),以及检测和响应集群事件(例如:当 replication controller所设置的 replicas 不够时,启动⼀个新的Pod)。 Master可在集群中的任意节点上运⾏。然⽽,简单0 码力 | 135 页 | 21.02 MB | 1 年前3腾讯基于 Kubernetes 的企业级容器云实践-罗韩梅
◼在某个cgroup网络繁忙时,能保证其设定配额不会被其他cgroup挤占 ◼在某个cgroup没有用满其配额时,其他cgroup可以自动使用其空闲的部分带宽 ◼在多个cgroup分享其他cgroup的空闲带宽时,优先级高的优先; 优先级相同 时, 配额大的占用多,配额小的占用少 ◼尽量减少为了流控而主动丢包 下图是两个进程都拼命争抢网络带宽时的效果。两个进程的 带宽和时延都得不到任何程度的保证。 ◼队列: 不增加队列, 4种告警方式——可随时修改 158项告警 87项指标采集 通用 • 不同的应用可以选择不同的网络模式 • 同一主机的不同容器可以选择不同的网络模式 自研容器网络解决方案Galaxy(CNI网络插件+调度器插件+控制器),面向所有场景: 高性能互联网业务、离线业务、在线离线混合场景、传统有状态服务、公有云… 性能 22190 7261 16462 4861 17442 5548 21461 PS:灰度升级属于原地升级,因此不需要重新过调度,升级的效率 也会提升。 每次升级可以选择要升级的实例个数以及具体哪些(个)实例。 能力扩展:存储场景 物理硬盘 cephFS ceph RBD ceph RBD 权限管理 quota 在线扩容 containe r containe r containe r 本地磁盘 containe r 空间上报 自动调度 共享云盘 containe0 码力 | 28 页 | 3.92 MB | 1 年前3GPU Resource Management On JDOS
GPU 利用率 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id commit-id 发起任务 任务详情 可以查看具体的容器列表,以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务,只需用户指定模型,即可提供 grpc 和 rest 服务,同时使用 GPU 复用 +HPA 提高 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型0 码力 | 11 页 | 13.40 MB | 1 年前3云计算白皮书
区块链等技术的跨境贸易。 云计算白皮书(2023 年) 12 浙江 2023.3 《2023 年宁波市中小企业发展专 项资金因素法分配专项资金海曙 区使用管理办法》 完成市对区上云任务考核,对获评 省级制造业“云上企业”给予 15 万元的奖励,其中已评为省级标杆 上云企业的减半奖励。 2022.6 《加强科技创新助力经济稳进提 质的若干政策措施》 支持平台企业技术创新。支持平台 厂商均在金融领域有落地实践,通过灵活调度云资源,保障多样化 金融业务在云上平滑运行;中国电子云、天翼云、移动云、联通云、 华为云等厂商均在政务领域有落地实践,利用一云多芯技术打造具 有安全性和高效性的政务云平台。同时,一云多芯已逐渐完成从底 层硬件至上层云原生应用的多芯全栈式适配兼容。作为 IT 产业发展 承上启下的关键环节,一云多芯不仅可以对底层各种异构资源统一 调度,还可以实现对上层应用和软件的适配操作,同时保证云平台 调度,还可以实现对上层应用和软件的适配操作,同时保证云平台 性能高效稳定。硬件芯片方面,通过屏蔽底层芯片差异实现资源池 化,从而满足对各种芯片的统一调度,这不仅包含对飞腾、鲲鹏、 龙芯、海光等芯片兼容,还包含不同指令集架构的 CPU,以及除 CPU 以外的专有芯片的兼容,如 GPU、DPU 等。软件应用方面,一云多 芯能够适配各种操作系统、虚拟机、容器数据库、中间件等,同时 还能够支撑虚拟化和云原生应用形态。性能调优方面,一云多芯可0 码力 | 47 页 | 1.22 MB | 1 年前3第1930期:Kubernetes基础介绍
s 也提供稳定、兼容的基础(平台),用于构建定制化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力,包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具,涵盖开发、部署测试、运维监控等各个环节。 Confidential 秘密 55 Kubernetes基础结构介绍 Kubernetes特性: 自动装箱:构建于容器之上,基于资源依赖和其他约束自动完成容器部署。 自我修复:容器故障后自动重启、节点故障后重新调度容器,以及容器自我修复机制。 水平扩展:通过简单明了实现水平扩展,基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡:实现内部负载均衡可以实现服务访问负载。 自动发布和回滚:可以自动实现版本的发布和回滚。 心,可以理解为 资源对象的“大总管”。运行着所有处理集群日常任务的控制器。包括节点控制器、副本控制器、端点控制器及服务账号 和令牌控制器。负责维护集群的状态,比如故障检测、自动扩展、滚动更新等。 Scheduler调度器(kube-scheduler):负责资源调度(Pod调度)的进程,相当于“调度室”。按照预定的调度策略 将Pod调度到相应的机器上 etcd:集群的数据存储,他存储着集群中所0 码力 | 49 页 | 4.11 MB | 1 年前3k8s操作手册 2.3
-c 3 1.1.1.1" ] #容器入口程序及参数 resources: requests: #资源需求,定义了容器所需要的最小资源量,便于调度,不 能小于jvm中的Xms memory: "256Mi" cpu: "200m" limits: #资源限制,定义了容器最大可以消耗的资源上限,对应jvm中 resourceQuota-testxx.yaml ★第7章、pod控制器 pod控制器是由kube-controller-manager组件提供的一些资源,负责控制pod的创 建、删除、重新调度、运行时间等。常用的pod控制器有ReplicaSet, Deployment, DaemonSet, Job, CronJob等,如果pod被删除,则可以重新拉起一个 ★通过kind: Pod创建的容器组,在kubectl DaemonSet用于在集群中的全部节点上同时运行一份指定的pod副本(master打 了污点,所以默认不运行,可以设置容忍度)后续新加入集群的工作节点也会 自动创建一个相关的pod副本,这些pod一般是执行系统级操作任务的服务,如 应用代理,监控,日志收集等 # vi monit.daemonset.yml #内容如下 apiVersion: apps/v1 kind: DaemonSet0 码力 | 126 页 | 4.33 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
长,如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时,我们希望开发人员能够负责任 地使用所有这些工具,并且始终掌控主导权,比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说,软件开发有时似乎很神奇,这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler RAG,你会先从非参数记忆中去检索相关文档集 (一般是通过在向量数据库中的相似性搜索),再使用 LLM 中的参数记忆生成与检索出的文档一致的输出。我们 发现 RAG 对各种需要大量知识的 NLP 任务十分有用,包括问答,总结和故事生成。 技术 © Thoughtworks, Inc. All Rights Reserved. 15 11. 基于风险的故障建模 试验 基于风险的故障建模是 的经验表明,在人工编写的代码中加入自然语言注释也会改善基于大语言模型的编码助手的输出质量。 13. 追踪健康债务状况 试验 通过将健康度评级与其他服务级目标(SLO)同等对待,并据此确定增强的优先级,而不是仅仅关注跟踪技术 债务,我们不断体验到团队对其生态系统的改进。通过有效分配资源来解决与健康状况相关的最有影响的问题, 团队和组织可以降低长期维护成本,更高效地发展产品。这种方法还能加强技术和非技术利益相关者之间的沟0 码力 | 43 页 | 2.76 MB | 1 年前3Serverless Kubernetes - 理想,现实和未来-张维
Agent Container Container Kernel containerd ACK on ECI • ECS + ECI混合部署:将long run应用运行在ECS上, 弹性和任务应用运行在ECI上。 • “无限”容量 • 极致弹性 • ECI 和 ECS Pod之间 互联互通(支持ClusterIP) ACK 集群 Pod Pod ECS Pod Pod Pod Serverless Scheduler ECI ASK-Scheduler K8S API Server • Nodeless:最佳弹性和扩展性,无传统调度器的复杂调度逻辑,最优的调度效率。 • 支持多可用区、多规格调度。 • 支持批量调度。 • AZ亲和性和反亲和性。 • ECI Pod生命周期管理:直通ECI Pod(Pod状态查询、logs、exec、metrics链路),降低ECI管控压力。 持平的计算性能:ECI计算效能需要和同规格ECS有一致的性能表现 • 更低的迁移成本:与现有容器应用生态完美集成 • 更低的使用成本:全自动化安全和运维能力 ECI关键技术选择 - 基于 Pod 的基本调度单位和标准、开放的API接口 ECI ASK ACK 云上k8s集群 线下k8s集群 Creae/Delete/Update/Describe/Logs/Exec/Metrics ECI关键技术选择0 码力 | 20 页 | 2.27 MB | 1 年前3⾸云容器产品Kubernetes操作指南
点击控制台 删除集群 进⼊集群⻚⾯ -> 选择要删除集群,点击更多 -> 点击删除 6 仔细阅读提示后,点击确认执⾏删除 ⾸云⽀持 集群节点的⼿动管理,包括节点的增加、删除和设置节点是否可调度操作 需通过⾸云集群管理⻚⾯进⾏上述操作 添加master节点 进⼊集群⻚⾯ -> 选择需要操作的集群 -> 点击集群扩容 节点管理 1.简介 2.使⽤须知 3.操作说明 7 核对集群ID 点击删除后,仔细阅读提示后,没问题点击确认执⾏删除操作 进⼊节点查看⻚⾯ -> 选择对应集群,删除节点状态由删除中 -> 节点消失代表删除成功 11 设置节点调度 进⼊节点查看⻚⾯ -> 选择对应集群 -> 选择要设置的节点 -> 设置是否可调度 仔细阅读提示,没问题后点击确认 12 进⼊节点查看⻚⾯ -> 选择对应集群 -> 查看设置是否成功 ⾸云提供了NAS⽂件存储服务,并且针对Kube 更新Pod的过程中Pod总数超过Pod期望副本 数的百分⽐上限 27 可选:Pod标签和注解。设置容器组的标签和注解。可⽤于Pod的调度设置。 可选:调度设置(亲和性调度依赖节点和 Pod 标签,您可使⽤内置的标签进⾏调度;也可预先 为节点、Pod 配置相关的标签) 节点亲和性。通过已有节点 Node 的标签(键)、操作符和标签值(值)进⾏设置。 必须满⾜,即硬约束,⼀定要满⾜,对应0 码力 | 94 页 | 9.98 MB | 1 年前3KubeCon2020/微服务技术与实践论坛/Spring Cloud Alibaba 在 Kubernetes 下的微服务治理最佳实践-方剑
monoliths-to-microservices 微服务拆分原则 DevOps 服务框架 Dubbo 可观测性 混沌工程 服务治理 Spring Cloud 多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 弹性扩容替换故障机器 离群实例摘除: 单点故障自愈 服务治理中心 订单服务 交易服务 4. 发起调用 3. 获取token 5. 校验签名和规则 6. 审计日志 7. 返回结果 Agent • 规则优先级: 方法级别 > 应用 • 鉴权方式:白名单(允许调用),黑名单(拒绝调用) • 签名校验 • 审计日志 Agent 用户 1. 配置访问控制规则 配置中心 2. 写入token和规则0 码力 | 27 页 | 7.10 MB | 1 年前3
共 38 条
- 1
- 2
- 3
- 4