云计算白皮书
........ 37 图 目 录 图 1 全球云计算市场规模及增速(亿美元).........................................................3 图 2 2022 年全球各区域云计算市场规模占比.........................................................4 图 3 2022 年全球主要厂商的云计算业务营收(亿美元) ...................5 图 4 中国云计算市场规模及增速(亿元)...........................................................13 图 5 中国云计算细分领域市场规模及增速(亿元)...........................................14 图 6 2022 年中国公有云 IaaS 厂商市场占比 厂商市场占比..........................................................15 图 7 应用现代化架构图...........................................................................................16 表 目 录 表 1 2022-2023 年中国部分省市云计算相关政策0 码力 | 47 页 | 1.22 MB | 1 年前3石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版
运⾏状态可视化,数据化,降低 部署⻛险,快速反馈 运营统计 全链路指标统计,为持续改进提 供数据⽀撑 学习培训 保障平台使⽤效果,快速实践落 地 DEVOPS⼯具 DEVOPS体系构成 企业级DEVOPS全景图 调度 ⺴络 存储 K8S 基础设施 租户管理与申请 ⼈员初始化 ⾓⾊权限职责 企业场景建设 配额管理 应⽤⺫录 DevOps⼯具链 其他⼯ 具 DevOps ⼯具 初始化 ⼈员⾓⾊权限 在迭代0阶段完成系统总体架构审 计,总体架构设计完成之后,启 动迭代启动评审。 u 在迭代阶段包含1.需求分析、2.应 ⽤设计、3.开发、4.测试、5.发布、 6.运维、7、迭代回顾7个阶段 u 每个迭代时间固定,⼀般为2-4周 整体过程框架 整体过程框架 开发 单次迭代开发交付过程 单次迭代开发交付过程 需求分析 工程活动 子过程 DevOps整体流程框架 生命周期 概念 迭代0 持续部署 供了⼤量业界经过⼤量验证的规则规范,增加了⼤量 ⾃动化⼯具协助开发⼈员,测试⼈员与运维⼈员完成 相应⼯作,极⼤提升了⼯作效率。 需求有效管理 增加交付频率 降低交付⻛险 识别过程资源浪费 加速需求响应时间 团队效率的整体提升 加快开发迭代速度 DEVOPS平台成果 价值 ⼯具 流程 规范指南 认证体系 成熟度 ⾓⾊职责 14x8x5 14个⾓⾊ 8个职责 5个权限组 16x15x180 码力 | 33 页 | 7.49 MB | 1 年前3k8s操作手册 2.3
ab里 取消挂载 # vi /etc/fstab # swapoff -a #取消所有swap挂载 ⑥NTP服务需要开启,使用集群内的ntp server,确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat > 需要指定control-plane-endpoint地址 为规划的vip,前端的vip可以使用任何负载工具软件,反向代理到后端的每台 master结点的6443/tcp端口即可。 高可用集群拓扑图: ★先配置HA高可用的反向代理 本例中vip为10.99.1.54(三台master ip为10.99.1.51~53)使用haproxy做反向代理 frontend k8s_api_tcp_6443 #可见k8s服务器上只有2个网桥,一个名为cni0,是k8s的pod网络用的,本k8s服 务器上的所有pod的网卡都连通到这个网桥里,即同一台k8s服务器上的所有pod 容器处于同一个二层广播域 ★k8s服务器上的各网卡关系图 [root@k8s-node01 ~]# ip route #查看k8s node结点上的路由表 default via 10.99.1.1 dev0 码力 | 126 页 | 4.33 MB | 1 年前3石墨文档Go在K8S上微服务的实践-彭友顺
错误码管理 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组(配置名、请求URL、请求参数、响应数据、耗时时间、执行行号) • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念,核心错误尽早panic • Panic的错误码,组件、配置名、错误信息 • 高亮显示 • 接口测试 • 接口平台 • 性能测试 • benchmark • 全链路压测 • 集成测试 • 以前gitlab ci,docker in docker • 目前结合配置中心拓扑图,自动生成jekins编排,ing 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 protoc --proto_path=${ROOT}/examples/helloworld 依赖注入 解除依赖很好,但成本很高 基础设施将所有依赖构建起来,就不要让研发用代码去实现 微服务的部署阶段 注入信息 版本信息 发布版本 • 注入应用名称、应用版本号、编译所在机器、编译时间配置 • 启动应用,获取debug.ReadBuildInfo,注入框架版本号 https://ego.gocn.vip/ micro/chapter1/build.ht ml 微服务的部署阶段0 码力 | 41 页 | 3.20 MB | 1 年前3第29 期| 2023 年9 月- 技术雷达
此同时记录了组织技术和业务的演进过 程。RFCs 可以成为促进演化架构的宝贵工具。不过,为了获得最佳效果,我们建议组织采用轻量级的 RFCs 方 法。如果不限定范围并明确要点,这些文件往往会随着时间的推移而变得越来越长,类似于传统的解决方案架 构文件一样最终被归档和遗忘。 3. 具有可访问性意识的组件测试设计 试验 在软件交付进程中,可访问性要求是 Web 组件测试阶段的一种考察指标。尽管诸如 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域,例如错误的配置,脆弱的容器, 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间,但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 项技术。 5. 自动合并依赖项更新 团队来说,致命弱点仍然是依赖项中存在漏洞,通常是来自于多层的间接依赖项。Dependabot 等工具可以通 过创建拉取请求(PR)来更新依赖项。不过,团队仍然需要制定工程纪律,以确保及时处理这些 PR,尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试,还包括有功能和性能测试,并且构建流水线必 须运行所有这些测试以及安全扫描,我们更提倡自动合并依赖项更新0 码力 | 43 页 | 2.76 MB | 1 年前3运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智
工程师的大部分工作都是在 做数据预处理的部分,而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布: • 模型服务的负载均衡 • 硬件资源的规划 在底层硬件选型需要注 意适合 AI 模型训练和 在线服务的类型,例如 10G及以上的 networking和GPU TensorFlow 介绍 • TensorFlow™ 是一个使用数据流图进行数值计算的开源软件 库。图中的节点代表数学运算, 而图中的边则代表在这些节 点之间传递的多维数组(张量 。这种灵活的架构可让您使 用一个 API 将计算工作部署到桌面设备、服务器或者移动设 备中的一个或多个0 码力 | 77 页 | 14.48 MB | 1 年前3Kubernetes开源书 - 周立
找⼀种 ⽀持多平台 、 相对简单 、 适⽤于 ⽣产环境 的部署⽅案。经过⼀段时间的调研,有如下⼏种解决⽅案进⼊笔者视野: 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 通过其API进⾏交互。 API更改 根据我们的经验,任何成功的系统都需要随着新⽤例的出现或现有的变化⽽发展和变化。因此,我们预计Kubernetes API将会不断变化和发展。但是,在很⻓⼀段时间内并不会破坏与现有客户端的兼容性。⼀般来说,新的API资源和新的 资源字段通常可被频繁添加。消除资源或字段将需遵循 API deprecation policy 。 API change document ,详⻅: identifiers design doc 。 UID UID由Kubernetes⽣成。 在Kubernetes集群的整个⽣命周期中创建的每个对象都有不同的UID(即:它们在空间和时间 上是唯⼀的)。 07-Name 23 Namespace(命名空间) Kubernetes⽀持在同⼀物理集群中创建多个虚拟集群。 这些虚拟集群被称为Namespace。 使⽤多个Namespace的场景0 码力 | 135 页 | 21.02 MB | 1 年前3Kubernetes 管理 Docker 容器
Kubernetes 管理 Docker 容器 date: 2020-12-18 tags: Kubernetes description: MacOS 平台 Kubernetes 管理 Docker 容器 图⽚来源于 Install Kubernetes: The Ultimate Guide Kubernetes 简介 Kubernetes 是容器集群管理系统,是⼀个开源的平台,可以实现容器集群的⾃动化部署、⾃动扩缩容、维护等功能。 含单个节点的简单集群 MacOS 系统安装依赖 安装依赖 # 命令⾏⼯具 brew install kubectl brew install minikube # 如果遇到权限⽂图 sudo chown -R $(whoami) /usr/local/lib/pkgconfig ## VM 驱动程序 VirtualBox brew install docker-mac0 码力 | 5 页 | 675.91 KB | 1 年前3⾸云容器产品Kubernetes操作指南
保留对应的PV;Delete,PVC被删除后,删除对应 的PV 数据保留策略:当PV被删除后,如果数据保留策略为 true ,则归档相关数据,归档名称为 archived-原pv使⽤⽬录名称-时间戳 ; 如果为 false ,则直接删除该pv所使⽤的数据 17 删除存储类 查看存储类 在存储类列表中,点击详情,可以查看存储类相应信息 可以在基本信息和yaml⽂件中切换不同的显示⽅式 运⾏多久后开始检测(秒):即 initialDelaySeconds,容器启动后第⼀次执⾏检测时需要等 待多少秒,默认为 3 秒。 检查间隔(秒):即 periodSeconds,指执⾏检查的时间间隔,默认为 10 秒,最⼩为 1 秒。 不健康阈值:探测成功后,最少连续探测失败多少次才被认定为失败。默认是 3,最⼩值是 1。 TCP 即向容器发送⼀个 TCP Socket,kubelet C),详情参⻅左侧菜单栏集群->存储卷 延迟探测时间(秒):即 initialDelaySeconds,容器启动后第⼀次执⾏探测时需要等待多少 秒,默认为 15 秒。 执⾏探测频率(秒):即 periodSeconds,指执⾏探测的时间间隔,默认为 10 秒,最⼩为 1 秒。 超时时间(秒):即 timeoutSeconds,探测超时时间。默认 1 秒,最⼩ 1 秒。 不健康阈值:探测0 码力 | 94 页 | 9.98 MB | 1 年前3Kubernetes全栈容器技术剖析
:更快的弹性,更高的资源利用率 持续发布: 小时级->分钟级 弹性伸缩: 分钟级->秒级 应用交互性能提 升1~2倍 资源利用率提 升50% 挑战 收益 传统虚机应用上线慢 业务扩容时间长 同业务压力下资 源利用率低 传统虚机应用交 互性能低 • 应用可以基于容器镜像一站式自动化“构建发布上线” • 应用快速上线、扩容、升级,秒级弹性扩缩容 • 基于容器更细粒度共享,提升资源利用率 SWR容器 镜像仓库 研发交付 容器镜像 Node 客户问题: •用户流量存在明显波峰波谷,传统部署方式伸缩效率低 •服务器开服频繁,传统部署耗时长 •特性迭代快速,升级频繁,传统方式效率低,断服时间长 •公司遗留内部运维(CI/CD)系统,需要对接公有云 •国内其他云厂商的容器服务问题较多、很不成熟 华为方案价值: •支持丰富的弹性伸缩指标策略,秒级伸缩应对流量变化 •支持模板方式一键部署,分钟级完成开服 COST 290人日/月 测试成本降低 运维效率提升6倍 建立CI/CD流程,将开 发、测试、运维有机串 联,SDK版本升级由30分 钟缩至5分钟 Efficiency 6 倍 提升 30 时间缩短 弹性伸缩应高峰 容器配置与数量根据业 务量秒级扩缩容,轻松 应对热点业务高峰浪涌 应业务量弹性扩缩容 占用资源减半 该项目实施后,节约一次性 投资1160万元,节约机架 租赁及软硬件维保费用5300 码力 | 26 页 | 3.29 MB | 1 年前3
共 24 条
- 1
- 2
- 3