Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL BizNginx （Load Balancer） Kafka Zookeeper etcd AppEngine（Resin/Tomcat…) 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务

Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 → 半结构化/无模式 ○ 数据隔离 云数据库需求 ● DBasS ○ 自动化运维 ○ 自动化调优 ● 弹性资源管理 ○ 存储资源 ○ 计算资源 ● 安全 ○ 用户数据 ○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Segment Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary

《MySQL 容器化部署实践》 演讲者／王晓波 背景 ■ 同程旅游早期的数据库都以单库的MySQL。 ■ MySQL的单库，导致TPS最终还是会成为一个瓶颈。 ■ MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 是个问题。 2.随着业务的发展，扩容数据库的不方便不快捷，也是个问题。 3.大量数据量小的数据库系统也单独部署在物理机，浪费问题突出。 4.DBA的数据库自动化标准化运维的需求。 5.Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 16核64G 32核64G DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 主 从 集 群 创 建 分 片 集 群 创 建 集 成 高 可 用 方 案 巨 细 无 遗 的 监 控 项 精 美 的 图 形 展 示 便 捷 的 告 警 管 理 慢 日 志 分 析 及 查 看 自 动 化 备 份 资 源 池 管 理 高 可 用 切 换 集 群 节 点

PieCloudDB的云原生数仓虚拟化之路 吴疆 Openpie产品和推广总监 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司（又称“OpenPie”），以“Data Computing 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 @2022 OpenPie. All rights reserved. OpenPie Confidential https://app 借助于云上分布式存储，解耦存储 借助于云上虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用，运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离

基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月，创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验，公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初，以电商SaaS ERP切入市场，凭借出色的产品和服务， 快速获得市场领先地位。随着客户需求的不断变化，如今聚水潭已经 发展成为以SaaS

........................................................................................... 8 构筑云化基座 ................................................................................................. ........................................................................................... 11 利用容器实现安全分析 ............................................................................................ 析数据平台 Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点， 同时介绍了 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件，践行 “Run Everywhere”原

2.2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解 决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅 需一次开发，即可随意部署。 ElasticJob 已于 2020 年 5 月 28 日成为 Apache ShardingSphere 的子项目。欢迎通过邮件列表参与讨论。 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求，使他们能够更加专注 于面向业务编码设计；同时，它也能够解放运维工程师，使他们不必再担心任务的可用性和相关管理需 求，只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob 定位为轻量级无中心化解决方案，使用 jar 的形式提供分布式任务的协调服务。 2 2 功能列表 • 弹性调度 – 支持任务在分布式场景下的分片和高可用

381 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 分片算法 . . . . . . . . . . 477 连接模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 自动化执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478 12.4.11 归并引擎 . . . 5.3 Seata 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 x 引擎初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490 开启全局事务 . . . . . .

使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 vi 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 分片算法 . . . . . . . . . . 456 连接模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 自动化执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 12.4.11 归并引擎 . . . 12.5.3 Seata 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468 引擎初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 开启全局事务 . . . . . .

408 使用方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 元数据持久化仓库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 分片算法 . . . . . . . . . 503 x 连接模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 自动化执行引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.4.11 归并引擎 . . . 12.5.3 Seata 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515 引擎初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516 开启全局事务 . . . . . .