36-云原生监控体系建设-秦晓辉
sum( irate(container_cpu_usage_seconds_total[3m]) ) by (pod,id,namespace,container,ident,image) / sum( container_spec_cpu_quota/container_spec_cpu_period ) by (pod,id,namespace,container,ident,image) 内存使用量除以内存限制量,就是使用率,但 是后面跟了 and container_spec_memory_limit_bytes != 0 是因为有些容器没有配置 limit 的内存大小 container_memory_usage_bytes / container_spec_memory_limit_bytes and container_spec_memory_limit_bytes != 0 increase(container_cpu_cfs_throttled_periods_tota l[1m]) / increase(container_cpu_cfs_periods_total[1m]) * 100 Pod网络出入向流量 irate(container_network_transmit_bytes_total[1m]) * 8 irate(container_network_0 码力 | 32 页 | 3.27 MB | 6 月前324-云原生中间件之道-高磊
作为总体集成方,会降低安全集成成本 可信计算环境:OS安全、TPM加密、TEE可信环境 云原生安全:镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、DevSecOps(安全左右移等等,比如代码或者镜像扫描)、 RASP应用安全、数据安全、态势感知与风险隔离 由于云原生托管的应用是碎片化的,环 标准化能力-承载无忧-E2E云原生纵深安全保障-4-技术建议方案 技术 说明 优点 缺点 SAST(静态应用程序 安全测试) 白盒测试,通过污点跟踪对源代码或者二进制程序(也包括Docker镜像等) 进行静态扫描,尽可能前置,在IDE编写代码或者提交代码时进行,将极 大优化整体效率和成本 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 决方案,从而满足不同用户的多样性需求。云原生 消息队列要求建设多个子产品线来支撑丰富的业务需求,比如消息队列RocketMQ,Kafka,微消息队列等。 标准化 容器镜像这项云原生的核心技术轻易地实现了不可变基础设施,不可变的镜像消除了IaaS层的差异,让云原生应用可以在不同的云厂商之间随意 迁移。但实际上,很多云服务提供的接入形式并不是标准的,所以依赖这些非标准化云服务的应用形成了事实上的厂商锁定,这些应用在运行时0 码力 | 22 页 | 4.39 MB | 6 月前309-harbor助你玩转云原生-邹佳
steven zou 目录 - 开场:云原生与制品管理 - 初识Harbor:云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 微服务、不可变基础设施和声明性API等。 v1.0 by CNCF 容器-更轻量级和灵活的虚拟化 镜像-应用软件打包与分发 OCI: https://opencontainers.org/ OCI制品(artifact):镜像,Helm Chart,CNAB,OPA bundle等等 云原生与制品管理 [2] Registry: •制品存储仓库 •分发制品的媒介 •访问控制与管理的节点 初识Harbor [1] 官方网站:goharbor CNCF毕业项目 落地在很多企业级 产品中 Apache 2.0协议下 开源 GitHub代码库: https://github.com/goha rbor/harbor/ 一个开源可信的云原生制品仓库项目用来存储、签名和管理相关内容。 Harbor社区 有来自于5家公司的14位维护者 GitHub星 13K+ 核心提交者 200+ 数据来源: https://harbor0 码力 | 32 页 | 17.15 MB | 6 月前316-Nocalhost重新定义云原生开发环境-王炜
Kubernetes 的普及,进⼀步屏蔽了“微服务”应⽤的复杂度,这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题,现代的微服务应⽤开发,都会将每⼀个组 件打包成 Docker 镜像,并以⼯作负载的形式对其进⾏部署。利⽤ DevOps 流⽔线中的持续集成和持续部署, 配合 Kubernetes 探针、HPA、应⽤⾃愈的能⼒,彻底解放了微服务应⽤的部署和运维环节。 但我们忽略了⼀个关键节点:开发阶段 ,由于应⽤很难在 Docker 容器之外运⾏,所以 每次代码修改,都需要经历以下步骤: 执⾏ docker build 构建镜像 执⾏ docker tag 对镜像进⾏标记 执⾏ docker push 推送镜像到仓库 修改 Kubernetes ⼯作负载的镜像版本 等待镜像拉取结束 等待 Pod 重建 查看修改后的代码效果 这直接拖慢了开发的循环反馈过程,每次修改,动辄需要数分钟甚⾄⼗分钟的等待时间。 原⽣开发体 验。 为了快速理解 Nocalhost 重新定义的云原⽣开发环境,让我们⾸先站在不同的⻆⾊来看 Nocalhost 能给他们 带来什么。 开发⼈员: 摆脱每次修改需要重新 build 新镜像以及⻓时间的循环反馈,修改代码⽴即⽣效 ⼀键部署开发环境,摆脱本地环境搭建和资源不⾜的限制 本地 IDE 编辑器和开发环境联动,⽀持远程调试 图形化的 IDE 插件,⽆需熟悉 kubectl 命令即可完成云原⽣环境下的开发0 码力 | 7 页 | 7.20 MB | 6 月前323-云原生观察性、自动化交付和 IaC 等之道-高磊
多种东西的集成,也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范,这是基于10年云原生道路锤炼得到的自动化交付方案 构建镜像 多区域分发 配置 ApplicationConfiguration Component 微服务 数据库 MQ Cache Trait 灰度 监控告警 弹性扩缩容 高可用 ent和Trait打包成可交付的应用。 基于镜像的封装性,通过AppConfig将应 用两个维度的东西整合整体化“集群镜像” 方式的交付,底层差异影响减少到最小 标准化能力-微服务PAAS-OAM-万花筒PAAS-3 以上解耦的结果,隐含着更深层次的能力,不是简单解耦那么简单,它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 无所不在,OAM除了在交付过程中提供了基于应用的 交付方案,同时将CICD与底层实现解耦,可以插接无限制的工具组件,使得可以对应不同交付 场景所要求的不同工具链。比如叠加serverless能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下,向多种客户环境交付赋能。 OAM应用实例 从基础设施,到容器运行环境,再到应用都可以加入编排,想要在K8s上编排一切并不0 码力 | 24 页 | 5.96 MB | 6 月前3Curve核心组件之snapshotclone
• 对数据增删改查 • 快照克隆服务器 • 快照 • 克隆快照和克隆的特点 • 快照的定义 快照是云盘数据在某个时刻完整的只读拷贝,是一种便捷高效的数据容灾手段, 常用于数据备份、制作自定义镜像、应用容灾等。 • 快照的特点 • 转储到s3对象存储 • 异步转储快照,底层使用copy-on-write技术,读写不影响转储 • 增量转储,第一次全量转储s3之后,后续只需转储增量部分 克隆的定义 • 克隆是指从卷复制出卷的功能,提供快速的复制卷的能力。 • 这里的克隆还包括从快照回滚的功能 • 克隆的特点 • 支持Lazy和非Lazy两种模式克隆 • 支持从快照克隆和从镜像(卷)克隆 • 支持从快照回滚 • 高可用,克隆任务中断自动拉起继续克隆快照克隆服务器架构 • 基于brpc提供restful API的对外http接口 HttpService: • Se 完成数据复制。 适用场景: 适用于从镜像快速创建云主机场景 非Lazy克隆 较慢,分钟级: Cloned状态可用,即完成整个数据克隆,才从临 时目录rename,用户才可见。 无Lazy Alloc chunk: 安装元数据时即分配好chunk。 无额外接口: 无需Flatten接口。 适用场景: 适用于从云主机或快照创建镜像CHUNKSERVER端克隆实现-CHUNKFILE0 码力 | 23 页 | 1.32 MB | 5 月前3Curve设计要点
当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多,线上异常演练 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve 概述背景 01 02 03 04 总体设计 系统特性 近期规划背景 • 多个存储软件:SDFS、NEFS、NBS 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储,不限制数量 异步快照、增量快照 从快照/镜像克隆 ( lazy/非lazy ) 从快照回滚数据组织形式 • 底层 可用性 / 可靠性 扩展性 / 负载均衡 向上提供无差别文件流 • Application 块/对象/EC等 感知具体格式 参与开发人员线上议题讨论会 近期规划欢 迎 大 家 参 与 C U R V E 项 目 ! • github主页: https://opencurve.github.io/ • github代码仓库: https://github.com/opencurve/curve • 系列讲座:https://space.bilibili.com/700847536/channel/detail?cid=1539490 码力 | 35 页 | 2.03 MB | 5 月前3探讨和实践基于Istio的微服务治理事件监控
开发的流程 • 编写grpc服务端程序,接收来自mixer的数据,并实现自身业务逻辑 • 编写handler、instance、rule配置文件 • 编译打包adapter,上传至docker仓库 • 编写k8s的deployment和service配置文件 • 部署应用基于Mixer的二次开发Hanlder Handlers 。为适配器提供配置。例如,到后端的 URL 、证书、缓存选 Rules。将数据交付给适配器。 定义了一个特定的 Instance 何时调用一个特定的 Handler插件编译和镜像打包 插件的编译 CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build - a -installsuffix cgo -o eventadapter 镜像制作的dockerfile FROM scratch ADD eventadapter /usr/bin/eventadapter0 码力 | 29 页 | 8.37 MB | 5 月前3网易云Service Mesh的产品架构与实现
DevOps工具链网易云容器服务架构www.163yun.com 容器管理平台本身也是微服务 所有的多租户容器请求入口流量 对接多个业务:OpenStack, Kubernetes,所有PaaS,持 续集成,镜像仓库,计费,用 户,认证,…… 高可用,横向扩展 熔断,限流,降级 负载均衡,路由 监控,统计 可靠消息163yun.com0 码力 | 35 页 | 6.33 MB | 5 月前3TiDB中文技术文档
Mac OS / Windows 平台安装,安装方法请参考 Docker 官方文档。 部署 TiDB 集群主要包括 3 个服务组件: TiDB TiKV PD 对应的最新 Docker 镜像可以通过 Docker 官方镜像仓库 获取: 1. docker pull pingcap/tidb:latest 2. docker pull pingcap/tikv:latest 3. docker pull pingcap/pd:latest 1.105 TiKV2 /data host6 192.168.1.106 TiKV3 /data TiDB Docker 部署方案 环境准备 安装 Docker 拉取 TiDB 的 Docker 镜像 部署一个多节点集群 启动 PD Docker 部署方案 - 224 - 本文档使用 书栈(BookStack.CN) 构建 登录 host1 执行: 1. docker run -d --name 里面的配置,例如集群规模,TiDB 镜像版本等。 tidb-vision 是 TiDB 集群可视化页面,可以可视化地显示 PD 对 TiKV 数据的调度。如果不想部署该组 件,可以将 tidbVision 项留空。 PD,TiKV,TiDB 和 tidb-vision 支持从 GitHub 源码或本地文件构建 Docker 镜像,供开发测试使 用。 如果希望从 GitHub 源码构建某个组件的镜像,需要将其 image0 码力 | 444 页 | 4.89 MB | 6 月前3
共 156 条
- 1
- 2
- 3
- 4
- 5
- 6
- 16