Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 MySQL Operator 设计实践 4. 小结 MySQL 容器化目标 • 快速部署 MySQL 主从集群 • 支持 MySQL 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群：1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master

Greenplum on Kubernetes 容器化MPP数据库 AGENDA 云数据库背景 云数据库实现方案 Greenplum on Kubernetes Greenplum Operator 总结 云数据库背景 云数据库背景 ● 资源变化 ○ 本地资源 → 云 ○ 静态资源 → 弹性需求 ● 数据变化 ○ 内部数据 → 多数据源 ○ 数据规模 → 不易预测 ○ 数据格式 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 ● 对象存储 ○ Segment Instance Segment 5 (Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary

《MySQL 容器化部署实践》 演讲者／王晓波 背景 ■ 同程旅游早期的数据库都以单库的MySQL。 ■ MySQL的单库，导致TPS最终还是会成为一个瓶颈。 ■ MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 Docker在同程的大规模使用，应用部署环境100%容器化，有Docker丰富的经验 。 让数据库的部署点单化开启 2核4G 4核4G 4核8G 8核8G 8核16G 16核16G 16核64G 32核64G 32核128G 一主一从 分片集群 一主多从 SATA-SSD PCIE-SSD 大容量磁盘SAS 配置 DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 资源池 容器及实例创建 应用交付 资源申请 IO类型 配置 为了保证MySQL的高可用，需要在Docker容器分配时如何保障主从不在同一宿主机上。我们通过自研 Docker容器调度平台管理所有宿主机和容器,自定义Docker容器的分配算法。实现了MySQL的高密度,隔离 化,高可用化部署。 调度规则： 1

ds2.username=root spring.shardingsphere.datasource.ds2.password= 使用 JNDI 数据源 如果计划使用 JNDI 配置数据库，在应用容器（如 Tomcat）中使用 ShardingSphere‐JDBC 时，可使 用 spring.shardingsphere.datasource.${datasourceName}.jndiName PORT=3308 -p13308:3308 apache/shardingsphere-proxy:latest 说明 • 可以自定义端口 3308 和 13308。3308 表示 docker 容器端口, 13308 表示宿主机端口。 • 必须挂载配置路径到 /opt/shardingsphere-proxy/conf。 docker run -d -v /${your_work_dir} document, v5.1.2 回答：请确保 /${your_work_dir}/conf/config-xxx.yaml 配置文件中指定的 PostgreSQL 数据 库的 IP 可以被 Docker 容器内部访问到。 问题 3：如何使用后端数据库为 MySQL/openGauss 的 ShardingSphere‐Proxy？ 回 答： 将 mysql-connector.jar 或 opengauss-jdbc

的动态切换。 • 存放运行时的动态/临时状态数据，比如可用的 ShardingSphere 的实例，需要禁用或熔断的数据源 等。 • 提供熔断数据库访问程序对数据库的访问和禁用从库的访问的编排治理能力。治理模块仍然有大量 未完成的功能（比如流控等）。 4.5. 分布式治理 45 Apache ShardingSphere document, v5.0.0 注册中心数据结构 在定义的命名空间下，rules table_inline.props. algorithm-expression=t_order_${order_id % 2} 使用 JNDI 数据源 如果计划使用 JNDI 配置数据库，在应用容器（如 Tomcat）中使用 ShardingSphere‐JDBC 时，可使 用 spring.shardingsphere.datasource.${datasourceName}.jndiName sql.show= # 是否开启 SQL 显示，默认值: false spring.shardingsphere.props.executor.size= # 工作线程数量，默认值: CPU 核数 编排治理 治理 配置项说明 # 省略数据源、数据分片、读写分离和数据脱敏配置 spring.shardingsphere.orchestration.name= # 治理实例名称 spring

ds2.username=root spring.shardingsphere.datasource.ds2.password= 使用 JNDI 数据源 如果计划使用 JNDI 配置数据库，在应用容器（如 Tomcat）中使用 ShardingSphere‐JDBC 时，可使 用 spring.shardingsphere.datasource.${datasourceName}.jndiName PORT=3308 -p13308:3308 apache/shardingsphere-proxy:latest 说明 • 可以自定义端口 3308 和 13308。3308 表示 docker 容器端口, 13308 表示宿主机端口。 • 必须挂载配置路径到 /opt/shardingsphere-proxy/conf。 docker run -d -v /${your_work_dir} document, v5.1.1 回答：请确保 /${your_work_dir}/conf/config-xxx.yaml 配置文件中指定的 PostgreSQL 数据 库的 IP 可以被 Docker 容器内部访问到。 问题 3：如何使用后端数据库为 MySQL/openGauss 的 ShardingSphere‐Proxy？ 回 答： 将 mysql-connector.jar 或 opengauss-jdbc

ds2.username=root spring.shardingsphere.datasource.ds2.password= 使用 JNDI 数据源 如果计划使用 JNDI 配置数据库，在应用容器（如 Tomcat）中使用 ShardingSphere‐JDBC 时，可使 用 spring.shardingsphere.datasource.${datasourceName}.jndiName PORT=3308 -p13308:3308 apache/shardingsphere-proxy:latest 说明 • 可以自定义端口 3308 和 13308。3308 表示 docker 容器端口, 13308 表示宿主机端口。 • 必须挂载配置路径到 /opt/shardingsphere-proxy/conf。 docker run -d -v /${your_work_dir} document, v5.1.0 回答：请确保 /${your_work_dir}/conf/config-xxx.yaml 配置文件中指定的 PostgreSQL 数据 库的 IP 可以被 Docker 容器内部访问到。 问题 3：如何使用后端数据库为 MySQL/openGauss 的 ShardingSphere‐Proxy？ 回 答： 将 mysql-connector.jar 或 opengauss-jdbc

的动态切换。 • 存放运行时的动态/临时状态数据，比如可用的 ShardingSphere 的实例，需要禁用或熔断的数据源 等。 • 提供熔断数据库访问程序对数据库的访问和禁用从库的访问的编排治理能力。治理模块仍然有大量 未完成的功能（比如流控等）。 注册中心数据结构 在定义的命名空间下，rules 、props 和 metadata 节点以 YAML 格式存储配置，可通过修改节点来实 table_inline.props. algorithm-expression=t_order_${order_id % 2} 使用 JNDI 数据源 如果计划使用 JNDI 配置数据库，在应用容器（如 Tomcat）中使用 ShardingSphere‐JDBC 时，可使 用 spring.shardingsphere.datasource.${datasourceName}.jndiName sql.show= # 是否开启 SQL 显示，默认值: false spring.shardingsphere.props.executor.size= # 工作线程数量，默认值: CPU 核数 编排治理 治理 配置项说明 # 省略数据源、数据分片、读写分离和数据脱敏配置 spring.shardingsphere.orchestration.name= # 治理实例名称 spring

⻩健宏/著 关于本⽂档 本⽂档为《Redis使⽤⼿册》⼀书的试读版本，由 RedisGuide.com 免费提供。 因为本⽂档为书本原稿的未编辑未排版版本，所以本⽂档和正式出版的图书在内容和编排上将会稍有不同，具体的 细节以正式出版的图书为准。 《Redis使⽤⼿册》预计将于 2019 年 9 ⽉下旬正式开始发售， 届时你将能够在 RedisGuide.com 购买到本书的 完整版本。 欢迎来到本书的第⼀章。 在这⼀章， 我们⾸先会了解到⼀些关于 Redis 的基本信息， ⽐如它提供了什么功能、 它能做什么、它的优点是什么、有哪些公司使⽤它等等。 之后我们会快速地了解本书各个章节的具体编排， 并完成⼀些学习 Redis 的前期准备⼯作， ⽐如安装 Redis 服 务器等等。 在⼀切准备就绪之后， 我们就会开始学习如何执⾏ Redis 命令， 以及如何通过配置选项对 Redis 服 务器进⾏配置。 都提 供了基于 Redis 或兼容 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 Redis 核⼼的九种数据结构， 列举了操作这些数据结构的众多命令及其详细 信息， 并在其中穿插介绍了多个使⽤

推荐 Copilot Embedding模型 LLM LLM对企业信息架构的改变 对话机器人 搜索 推荐 数据库 APIs 文档 网站 日志 交易记录 向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求