使用 Docker 建立 Mysql 集群 软件环境介绍 操作系统：Ubuntu server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后 创建的分支，性能上优于 MySQL 开源版本） 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 Docker MYSQL_PASSWORD=medical_waste \ -e MYSQL_DATABASE=medical_waste \ -e TERM=linux \ -d mariadb 第三步 配置一主一从集群 3.1 接下来启动另一个容器作为从数据库，因为镜像不支持在容器内进入 mysql 控制 台，所以依然需要把端口暴露出来以供局域网访问,但主数据库容易可以链接进 来作为一个可访问的主机 master_db。 master_log_pos=789; /*开启从数据库复制*/ start slave; 最后可以通过 show slave status; 查看同步情况。 至此我们就建立了一个基于 Docker 的 Mariadb 数据库集群。

图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、 少上下文漂移和逻辑连贯性问题。 多令牌预测（MTP） 采用FP8混合精度训练，通过在训练 过程中使用更适宜的数据精度，减少 了计算量和存储需求。FP8混合精度 训练在保证训练准确性的基础上，显 著降低了计算成本，使得大规模模型 训练更加可行。 FP8混合精度训练 • 推 理 效 率 提 升 ： 蒸 馏 后 的 模 型 参 数 量 大 幅 减 少 ， 例 如 DeepSeek-R1-Distill-Qwen-7B的参数量仅为7B，相比原始

Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 高可用 CoreOS 提出了 operator Deployment StatefulSet MySQL Operator 设计实践 4. 小结 MySQL 容器化目标 • 快速部署 MySQL 主从集群 • 支持 MySQL 集群高可用 • 支持 MySQL 集群弹性伸缩 • 支持 MySQL 5.5 & 5.7 Master Slave1 Slave2 MySQL 集群：1 主 2 从 MySQL 容器化系统架构 REST CLI Kubernetes Master

Apache Ozone – 数据服务的核⼼设计 1. OM – 管理Ozone的Namespace ，也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB OTHER WORKLOADS X • 可⽤于承载实时和批处理的业务 • 扩展性提升 • ⽆需改变或改造业务应⽤代码 • 降低控制平⾯的节点数和服务依赖 业务价值 • 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 运维价值 Apache Ozone – delete(“/catelog_sales”) 均衡器Ozone Balancer(HDDS-4656) 时机 ● 新的节点加⼊Ozone集群 ● 删除⼤量数据后 好处 ● 充分利⽤集群资源 ● 均衡集群IO访问 实现 ● 均衡器实现为SCM的⼦功能 ● Container是数据迁移的最⼩单位， 只迁移CLOSE状态的Container ● 客户端发送命令给SCM，SCM负

................................................................................ 35 12.2 Broker 集群搭建 ................................................................................................ 规范中，消费方式都属亍广播消费。 在 JMS 规范中，相当亍 JMS publish/subscribe model 项目开源主页：https://github.com/alibaba/RocketMQ 3  集群消费 一个 Consumer Group 中的 Consumer 实例平均分摊消费消息。例如某个 Topic 有 9 条消息，其中一个 Consumer Group 有 3 个实例（可能是 3 台机器），那举每个实例只消费其中的 3 条消息。 在 CORBA Notification 规范中，无此消费方式。 在 JMS 规范中，JMS point-to-point model 不乀类似，但是 RocketMQ 的集群消费功能大等亍 PTP 模型。 因为 RocketMQ 单个 Consumer Group 内的消费者类似亍 PTP，但是一个 Topic/Queue 可以被多个 Consumer Group

R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI ⼯工作流 • 探索开发 • 线上运⾏行行 关注并回复 kubecon18 P7 展台

Drake，帅气的公鸭) Ubuntu 的第一个长期支持版 本，发布于 2006年06月。长期支持版为桌面提供三年支持，服务器则是五年。普 通版本则只支持 18 个月。更长的支持周期意味着更长的保障，让大规模部署 Ubuntu 更加可行。桌面支持到 2009年06月，服务器支持到 2011年06月。 • Ubuntu 6.10 (Edgy Eft，急躁的水蜥) 2006年10月发布。这个版本保证了启动 程序。小至优化桌面程序，大到为大型应用提供支持，全球支持服务团队随时都可以 为您解决使用 Ubuntu 过程中遇到的问题。 Ubuntu 帮助和支持 459 Ubuntu 桌面培训 目录 您可以获得对桌面系统、服务器以及瘦客户端和集群服务的支持。以下是提供的多种 支持服务列表的截图： 图 IX.22 多 种 支 持 类 型 要购买商业服务，请参考 Canonical 服务页面。 IX.VIII 本课小结 在本课中，您已经学习了：

topic 路由信息 定时清理下线的 borker 定时向所有 broker 发送心跳信息，（包括订阅关系） 定时持久化 Consumer 消费进度（广播存储到本地，集群存储到 Broker） 统计信息打点 动态调整消费线程池 启动拉消息服务 PullMessageService 启动消费端负载均衡服务 RebalanceService 来标记 成功消费到哪里了 消费失败， ackIndex 设置为-1 广播模式发送失败的消息丢弃， 广播模式对于失败重试代价过高，对整个集 群性能会有较大影响，失败重试功能交由应用处理 集群模式， 将消费失败的消息一条条的发送到 broker 的重试队列中去，如果 此时还有发送到重试队列发送失败的消息，那就在 cosumer 的本地线程定时 5 秒钟以后重试重新消费消息， 在走一次上面的消费流程。 第四章： NameServer Namesrv 名称服务，是没有状态可集群横向扩展。 1. 每个 broker 启动的时候会向 namesrv 注册 2. Producer 发送消息的时候根据 topic 获取路由到 broker 的信息 3. Consumer 根据

Apache Pulsar 简介 streamnative.io Apache Pulsar 是什么 streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack:

tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 –