Kubernetes Operator 实践 - MySQL容器化
Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作,在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域,负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 服务多迭代快 搜狗产品矩阵 商业平台 信息流广告 搜索广告 品牌广告 代理商 广告主 技术体系 CRM 广告平台 物料展现 审核平台 大数据平台 基础架构 Golang C++ JavaScript Java Python 质量要求高 业务响应快 故障恢复快 Cluster1 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理0 码力 | 42 页 | 4.77 MB | 1 年前3基于 KUBERNETES 的 容器器 + AI 平台
基于 KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用(机器器学习) 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』, 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo (内部项⽬目)- ⽣生产级镜像仓库解决⽅方案,基于 • release • https://github.com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性:从 k8s 原⽣生模式中获益 状态可读:跟踪所有 k8s 对象状态 版本化:快速从历史版本回滚0 码力 | 19 页 | 3.55 MB | 1 年前3Ubuntu 桌面培训 2010
动和开源运动的起源以及正式开始。同时,详细讲解 Ubuntu 的发布日程安排、命名 规则以及 Ubuntu 的承诺。 Ubuntu 是一个基于 Linux 的开源操作系统。开源可以促进知识被充分利用,推动产 品设计和生产技术发展。它既是理论,也是具体的实践。开源的广泛实践使得软件用 户可以获得他们所使用软件的源代码,并且知识产权限制很少甚至没有,这允许用户 对软件进行修改,或者利用获得的代码编写并发布新的软件,使其满足自身需要,或 在内核开发过程中做了大量工作,并且拥有 Linux 这个商标。 Linux 开放源代码: • 可以被任何人获取和使用 • 可以根据个人的要求和所使用的平台定制 • 可以自由地以当前或修改的形式重新发布 最开始,Linux 是技术性非常强的开发工具。但是随着成千上万的开发者加入到改进 它的行列,为它的发展做出贡献,对于用户它变得越来越友好。于是现在有数百种商 业和非商业的为日常使用设计的发行版。 1998年 ,Jon "maddog" 如果学生对 Mark Shuttleworth 感兴趣,想了解更多的信息,请展示下面的内容。 Mark Shuttleworth 是一个非洲企业家,热爱技术、创新、改变和宇宙飞行。 Shuttleworth 曾在普林顿大学学习金融和信息技术,然后他创办了 Thawte ——一 8 关于 Ubuntu 目录 Lucid Lynx 家致力于数字证书和加密的公司。1999年,他把 Thawte0 码力 | 540 页 | 26.26 MB | 1 年前3强大的音视频处理工具: FFmpeg
过邮箱 联系我 admin 艾特 crifan.com ,我会尽快删除。谢谢合作。 鸣谢 感谢我的⽼婆陈雪的包容理解和悉⼼照料,才使得我 crifan 有更多精 ⼒去专注技术专研和整理归纳出这些电⼦书和技术教程,特此鸣谢。 更多其他电⼦书 本⼈ crifan 还写了其他 100+ 本电⼦书教程,感兴趣可移步⾄: crifan/crifan_ebook_readme: Crifan的电⼦书的使⽤说明 input.mp4 -vf subtitles ffmpeg -i input.mp4 -vf subtitles==subtitle.s subtitle.s 获取 52 ⽐如视频是mkv的容器,内挂有srt字幕,则可以: 2. 嵌⼊ass字幕 举例 特殊 另外ffmpeg也⽀持: Picture-based subtitles =基 于图⽚的字幕 命令举例: 参数说明:0 码力 | 73 页 | 11.57 MB | 1 年前3使用 Docker 建立 MySQL 集群
yum install docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意,如果不加:latest 标签,docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了,参数方面需要注意的有一下几点: 1,-name <给容器取个好记的名称> 2,-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6,设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像,建立出来的容器未必能一次达到要求,建议是将 run 命令写成脚本,创建后使用 docker inspect <容器名> 仔细查看容器信息,关注镜像公开的端口和文件目录。如果发现达不到要求,使 不到要求,使 用 docker rm -f <容器名> 删除容器后修改 run 脚本再次运行,直到满意为止。 下面是我的 run 命令: docker run --name mdb1 \ -p 13306:3306 \ -v /home/wonders/docker_mdb1_data:/var/lib/mysql \ -e MYSQL_ROOT_PASSWORD=wondersgroup \ -e0 码力 | 3 页 | 103.32 KB | 1 年前3GPU Resource Management On JDOS
liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器,不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ,使用 gpu 的 zone , 自行设定相应的镜像即 可,有完善的周边服务 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表,以及查看容器的日志和事件 Serving 服务 提供统一便捷的 Serving 服务,只需用户指定模型,即可提供 grpc 和 rest 服务,同时使用 GPU 复用 +HPA 提高 GPU 利用率 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务,自适 应 GPU 容器,可根据 容器 IP 查询记录 , 便 于用户查看服务状态 ,亦可作为 HPA 的数 据源 • 采集项 name,index,fan.speed,te mperature.gpu,pstate0 码力 | 11 页 | 13.40 MB | 1 年前3清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
情感分析,对数据进行深入解读,帮助市场调 研等领域理解消费者情感,优化产品和策略。 • 故事化数据呈现:借助o3mini将数据以 故事的形式呈现,增强数据的可读性和吸引力, 帮助公众理解复杂的科学和技术知识。 • 复杂数据模式识别:借助o3mini高效分 析复杂数据,帮助科学研究和工程领域发现 模式和规律,如天文学中的星系演化或地质 学中的地震数据分析。 • 多源数据融合分析:在智能交通和城市 容,帮助 用户更好理解和呈现研究成果。 无数据检索:以现有真实数据库作为支撑,通过关键词 检索,自动搜集相关文献并生成综述报告,目前只支持 英文检索。 低重复率:结合现有查重机制与AI技术,在内容生成阶 段引入重复检测与优化策略,从源头上降低重复率风险, 所生成的综述普通重复率与AIGC重复率均在5%以下。 无限双语数据导入:支持中文与英文文献的导入,并且 文献数据量没有限制,能够轻松处理中文文献的系统性 版(单图)、专业版(双图)。 文献导入:用户可从现有文献数据库中下载中英文数据后导入平台,或直接通过实时联网访问免费数据库 进行在线分析,操作简单便捷。 信息提取与分析:平台自动运用AI技术对导入的文献进行关键信息提取和深度梳理分析,用户无需进行复 杂操作,等待平台处理完成即可。 综述生成:根据智能分析结果,平台自动生成结构化的文献综述文本内容和可视化图表,用户可直接获取 完整的0 码力 | 85 页 | 8.31 MB | 7 月前3清华大学 DeepSeek 从入门到精通
实体提取(人名、地点、事件) 文本分类 文本分类 主题标签生成(如新闻分类) 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 根 据 需 求 生 成 代 码片段(Python、 JavaScript) • 自 动 补 全 与 注 释 生成 例如:DeepSeek-R1,GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型: 推理大模型是指能够在传统的大语言模型基础上,强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术,比如强化学习、神经符号推理、元学习等,来增强其推理和问题解决能力。 非推理大模型: 适用于大多数任务,非推理大模型一般侧重于语言生成、上下文理解和自然语言处理,而不强 调深度推理能力。此类模型 模糊需求(如“写个排序代码”) 多轮对话 通用模型 自然交互,无需结构化指令 “你觉得人工智能的未来会怎样?” 强制逻辑链条(如“分三点回答”) 推理模型 需明确对话目标,避免开放发散 “从技术、伦理、经济三方面分析 AI的未来” 情感化提问(如“你害怕AI吗?”) 逻辑分析 推理模型 直接抛出复杂问题 “分析‘电车难题’中的功利主义 与道德主义冲突” 添加主观引导(如“你认为哪种对?”)0 码力 | 103 页 | 5.40 MB | 8 月前3基于go和flutter的实时通信/视频直播解决方案 段维伟
基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 云游戏,机器人,VR,直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app,最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 用开源方案实现需求 WebRTC + Flutter + Go 技术简介 第二部分 WebRTC 是什么 01. • 由 Google 发起的基于浏览器通讯标准 • 基于收购来的 GIPS (6800万美金)的高质量实时音视频引0 码力 | 38 页 | 2.22 MB | 1 年前3RocketMQ v3.2.4 开发指南
(5)、(6)属亍单点故障,丏无法恢复,一旦収生,在此单点上的消息全部丢失。RocketMQ 在返两种情冴下,通 过异步复制,可保证 99%的消息丌丢,但是仍然会有极少量的消息可能丢失。通过同步双写技术可以完全避免单点, 同步双写势必会影响性能,适合对消息可靠性要求极高的场合,例如不 Money 相关的应用。 RocketMQ 从 3.0 版本开始支持同步双写。 4.7 Low Latency0 码力 | 52 页 | 1.61 MB | 1 年前3
共 12 条
- 1
- 2