2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – Resource Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example

云+社区技术沙龙 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 解决方案 Pod 压缩 Node 超卖 HPA VPA 动态 调度 碎片 处理 Pod 资源压缩 • MutatingAdmission limits 两种资源计算方式 • CronHPA • HPA对象Enable 和 Disable • 动态调整 minRepliacs VPAPlus • 动态调整Container Cgroup • requets 和 limit 比例设置 • Resource Range设置 • CheckPoint对象timeout时间 • Pod对象更新时间 ` • 资源合法性校验 THANKS

使用 POD 2.1. 使用 POD 2.1.1. 了解 pod 2.1.2. pod 配置示例 2.1.3. 其他资源 2.2. 查看 POD 2.2.1. 关于 pod 2.2.2. 查看项目中的 pod 2.2.3. 查看 pod 用量统计 2.2.4. 查看资源日志 2.3. 为 POD 配置 OPENSHIFT CONTAINER PLATFORM 集群 2.3.1. 配置 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 2.5. 使用垂直 POD 自动扩展自动调整 POD 资源级别 2.5.1. 关于 Vertical Pod Autoscaler Operator 2.5.2. 安装 Vertical Pod Autoscaler Operator 7.4.1. 使用配置映射在容器中填充环境变量 2.7.4.2. 使用配置映射为容器命令设置命令行参数 2.7.4.3. 使用配置映射将内容注入卷 2.8. 使用设备插件来利用 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级

使用 POD 2.1. 使用 POD 2.1.1. 了解 pod 2.1.2. pod 配置示例 2.1.3. 其他资源 2.2. 查看 POD 2.2.1. 关于 pod 2.2.2. 查看项目中的 pod 2.2.3. 查看 pod 用量统计 2.2.4. 查看资源日志 2.3. 为 POD 配置 OPENSHIFT CONTAINER PLATFORM 集群 2.3.1. 配置 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 2.5. 使用垂直 POD 自动扩展自动调整 POD 资源级别 2.5.1. 关于 Vertical Pod Autoscaler Operator 2.5.2. 安装 Vertical Pod Autoscaler Operator 7.4.1. 使用配置映射在容器中填充环境变量 2.7.4.2. 使用配置映射为容器命令设置命令行参数 2.7.4.3. 使用配置映射将内容注入卷 2.8. 使用设备插件通过 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级

.................... - 45 - 第六章：资源管理 .................................................................................................................... - 46 - 使用资源组................................ ........................................ - 46 - 资源组基于角色或基于外部组件 ............................................................................ - 47 - 资源组的属性 ............................................ ........................... - 48 - 配置与使用资源组 .................................................................................................... - 57 - 监控资源组状态 ......................................

879 工程效能 CI/CD 之流水线引擎的建设实践 912 美团外卖搜索基于 Elasticsearch 的优化实践 933 美团图灵机器学习平台性能起飞的秘密（一） 953 提升资源利用率与保障服务质量，鱼与熊掌不可兼得？ 971 标准化思想及组装式架构在后端 BFF 中的实践 992 外卖广告大规模深度学习模型工程实践 | 美团外卖广告工程实践专题连载 1013 数据库全量 的利用率只有 95%，还有压 榨空间，而 16 核 CPU 利用率已经超过了 1500%，几乎满负荷运转。我们推测整个 线上服务的“瓶颈”可能在 CPU，而图片预处理会使用大量 CPU 资源。 表 9 服务器资源配置 算法 < 33 3.2.1 DALI 预处理 为了解决 CPU 预处理带来的“瓶颈”，我们采用了 NVIDIA 的 DALI 库，将预处理 直接放到 GPU 中运算。该库可以在 预处理后，T4 GPU 利用率达到了 100%，而 16 核 CPU 的利 用率则下降到了 1100% 左右，部分 CPU 资源得到了“解放”。另外，我们也测试 FP16 + DALI 的吞吐，反而有略微的下降。我们推测是 DALI 抢占了部分 GPU 计 算资源，而 FP16 服务的瓶颈在 GPU，所以对整体性能产生了负面影响。 34 > 2022年美团技术年货 图 13 使用 DALI

1. 定义 Kibana 索引模式 3.4.2. 启用网络隔离时允许项目间的流量 第 第 4 章 章 配置日志部署 配置日志部署 4.1. 集群日志记录自定义资源（CR） 4.1.1. 关于 ClusterLogging 自定义资源 4.2. 配置日志记录收集器 4.2.1. 不支持的配置 4.2.2. 查看日志记录收集器 Pod 4.2.3. 配置日志收集器 CPU 和内存限值 4 配置 OPENSHIFT LOGGING 存储 4.5.1. OpenShift Logging 和 OpenShift Container Platform 的存储注意事项 4.5.2. 其他资源 4.6. 为 OPENSHIFT LOGGING 组件配置 CPU 和内存限值 4.6.1. 配置 CPU 和内存限值 4.7. 使用容忍度来控制 OPENSHIFT LOGGING POD . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.7.4. 其他资源 4.8. 使用节点选择器移动 OPENSHIFT LOGGING 资源 4.8.1. 移动 OpenShift Logging 资源 4.9. 配置 SYSTEMD-JOURNALD 和 FLUENTD 4.9.1. 为 OpenShift Logging 配置

OpenAMP混合部署模式 • 分布式软总线，欧拉/鸿蒙设备互通 云计算 边缘计算 openEuler SDK openEuler DevOps： • 磁盘资源隔离，大数据性能提升30% • 应用感知调度，hbase性能提升20% • 容器/虚机混部， • 资源利用率15%-30% • 边云管理协同框架， • 跨边云单应用秒级发放 缘起：一个运动控制系统(机器人,数控机床….) 智能控制 （人机交互 典型硬件: 树莓派4/MCU • 特点：OS承担全部功能 • 不足：无法实现分工协作 • 典型硬件:STM32MP15 • 特点：Linux和RTOS分工 协作资源静态分配 • 不足：Linux和RTOS之间 无法实现强隔离 • 典型硬件:树莓派４ • 特点：Linux和RTOS分工 协作 • 强隔离、资源动态分配 • 不足：对异构支持不完善 • 典型硬件:Xilinx Ultra Scale • 特点：异构多核，多种运 行时协同工作 • 不足：软件栈结构复杂 在不同模式下，openEuler Embedded始终是中心，提供富功能、富管理、富生态 混合关键系统：单节点极致“异构” 算力，多种OS/runtime共同部署， 各尽其才，充分利用硬件资源 弹性融合底座 实例0 实例2 实例3 实例4 实例1 RTOS1 Baremetal RTOS2 RTOS3

不支持CPU/IO topology based scheduling 领域框架支持不足 • 1:1的operator部署运维复杂 • 不同框架对作业管理、并行计算等要求不通 • 计算密集，资源波动大，需要高级调度能力 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 Tensorflow、Spark等。 2. 丰富的高阶调度策略 公平调度、任务拓扑调度、基于SLA调度、作业抢占、回填、弹性调度、 混部等。 3. 细粒度的资源管理 提供作业队列，队列资源预留、队列容量管理、多租户的动态资源共享。 4. 性能优化和异构资源管理 调度性能优化，并结合 Kubernetes 提供扩展性、吞吐、网络、运行时的 多项优化，异构硬件支持x86, Arm, GPU, 昇腾，昆仑等。 • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： • 大数据作业从Yarn平滑迁移至K8s； • 云原生DAP平台服务于17个国家/地区，1100用户，年增长率8.1%； • DAP平台运行项目450+ Volcano大幅度提高大数据平台资源利用率 Kubernetes