API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB Controller TiSpark 文档 TiSpark Server TiKV Server 核心特性 水平扩展 README - 12 - 本文档使用 书栈(BookStack.CN) 构建 无限水平扩展是 TiDB 的一大特点，这里说的水平扩展包括两方面：计算能力和存储能力。TiDB Server 负责处理 SQL 请求，随着业务的增长，可以简单的添加 TiDB Server 节点，提高整体的处理能力，提供更高的吞吐。TiKV 负责存储数据，随着数据量的增长，可以部署更多的 的另一大特点，TiDB/TiKV/PD 这三个组件都能容忍部分实例失效，不影响整个集群的可用性。下 面分别说明这三个组件的可用性、单个实例失效后的后果以及如何恢复。 TiDB TiDB 是无状态的，推荐至少部署两个实例，前端通过负载均衡组件对外提供服务。当单个实例失效时，会影响 正在这个实例上进行的 Session，从应用的角度看，会出现单次请求失败的情况，重新连接后即可继续获得服 务。单个实例失效后，可以重启这个实例或者部署一个新的实例。

全生命周期API管理-2-Azure API Management 配置Http Header， 比如CORS等 配置入站协议转 换等 配置后端治理策略 等，比如限流规则 定义API或者导入 API 全生命周期API管理-3-Azure API Management • 把自己关在小黑 屋里面，自己就 可以自助的从API 使用角度定义、 驱动研发、发布 或者实施与自己 APP的集成。 根据运维场景和关注点的不同，以不同图表或者曲 线图来表示整体分布式应用的各维度情况，使得开 发人员可以清晰的观测到整体分布式应用的详细运 行情况，为高精度运维提供可视化支撑 人工发展阶段：符合人分析问题的习惯 宏观->微观 精细化发展阶段：依靠数据赋能，加强可视化能力，进一步简化运维 监控告警 分布式跟踪链 日志查询 根因分析 响应动作 自动化 高端观察性 各维度统计分析 观察性 Prometheus 配置参数 应用 应用 软件环境 硬件环境 遗留系统 安装配置点 安装配置点 安装配置点 集成点 集成点 集成点 1. 交付人员学习手册文档，需要在客户 环境做“安装配置”和“与遗留系统集成” 两方面工作。 2. 安装配置：在硬件上安装软件，不乏 针对硬件特性的适配、还需要安装OS 等，最后还要在OS上安装应用，并且 还要保证应用软件依赖拓扑结构不会 出错。 3. 集成点：包括新环境的硬件、软件和

自信地采取更加激进的优 化，而不会意外引入崩溃或漏洞。 但 Rust 并不局限于底层系统编程。它表达力强、写起来舒适，让人能够轻松地编写出命令行 应用、网络服务器等各种类型的代码——在本书中就有这两者的简单示例。使用 Rust 能让你 把在一个领域中学习的技能延伸到另一个领域：你可以通过编写网页应用来学习 Rust，接着 将同样的技能应用到你的 Raspberry Pi（树莓派）上。 本书全面介绍了 阅读专门介绍程序设计的书籍。 如何阅读本书 本书大体上假设你按从头到尾的顺序阅读。后面的章节建立在前面章节概念的基础上。前面的 章节可能不会深入介绍部分主题，而是留待后续章节重新讨论。 本书分为两类章节：概念章节和项目章节。在概念章节中，我们学习 Rust 的某个方面。在项 目章节中，我们应用目前所学的知识一同构建小型程序。第二、十二和二十一章是项目章节； 其余都是概念章节。 第一章介绍如何安装 程序逻辑正确。第十二章中将会构建我们自己的 grep 命令行工具的功能子集实现，用于在文 件中搜索文本。为此会用到之前章节讨论的很多概念。 第十三章探索闭包（closure）和迭代器（iterator），这两个 Rust 特性来自函数式编程语言。 第十四章会深入探讨 Cargo 并介绍分享代码库的最佳实践。第十五章讨论标准库提供的智能 指针以及相关的 trait。 8/562Rust 程序设计语言 简体中文版

客户需求 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装

引入Service Mesh 是否足够成熟 是否有替代方案 是否可接受成本 是否能兑现价值 观察阶段 试验阶段 评估阶段 启动阶段 思考 行动12/24 实践 /03 Service Mesh架构在陌陌的落地实践13/24 方案选型 与现有架构的兼容性 现阶段的关键需求 技术储备与原则类因素 自研数据平面与 控制平面方案 使存量服务接入Mesh 方案 对接大量内部系统 步骤：listener、存量连接、存量数据 Java实现 • 借助JNI与Netty Java实现FD迁移18/24 数据平面升级方式 – 发布流程 容器化发布方式 • 发布过程同时存在新旧两个Agent • 注入新Container • 预留占位Container • Container内部升级 当前方案 运维Agent • 单个Pod升级Agent • 多个Pod发布编排 Mesh协议 • 减少decode请求体开销 • ProtoBuf替换JSON • 复用连接并适当设置连接数 Agent内部 • 对象池化：减少资源消耗与GC压力 • 响应等待机制：非阻塞等待 两次请求转发小于0.2ms Agent外部 • 提升服务器性能（缩减耗时绝对值） API层接口耗时增长小于6%21/24 数据平面资源占用 与业务容器共享CPU、内存资源配额 为Agent JVM分配256M内存资源

NewSQL | TiDB Google Spanner / F1 - The First NewSQL ● 全球级别分布式 / 跨数据中心复制 ○ Paxos ● ACID 事务支持 ○ 两阶段提交 ● 无锁快照读 / 无锁只读事务 ○ MVCC ● External Consistency ○ TrueTime API ● SQL 支持 ● the Next BigTable Powered Stanford 工业级分布式一致性协议实现 Raft 论文 概括： 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 CockroachDB） ● 完全从头打造，并非基于 MySQL 或数据库中间件进行改造、封装 ● 体系架构完全不同于传统的单机型数据库的理论，真正意义上的分布式架构 ● 开源模 Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库，不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库，事务由底层 数据库提供，支持透明分布式 事务 0

10%以上，规模化应用交付效率 提升了100%。阿里巴巴在2020双11完成了全球最大规模的云原生实践。 与2019年全面云化相比，2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看，产品侧，阿里云通过提 供容器服务ACK、云原生数据库PolarDB/Redis、消息队列RocketMQ、企业级分布式应用服务EDAS、微服务引擎MSE、应用监控服 务ARMS等数十款云原生 管，比如数据库的自动拓展能力或者自动化数据同步 能力等等。 标准化能力-分布式操作系统核心-容器服务-新发展 由于历史遗留或者软件形态所限制，不可能所有的软件都可以被微服务化或被容器化，那么现在阶段来看，整个 数字化转型的一些困难就是处于在技术上的碎片化，为云原生彻底发挥对极端变化的适应性价值还有很多障碍。 在统一的K8s管理面下， 通过一种代理容器(内置 了管理虚拟机的逻辑） 来启动虚拟化Pod， Paas可以看做是应用运行态稳定性保障的平台 • Paas可以看做是连接各种服务的啮合中心 以应用为中心的云原生，落地的关键在PaaS，根据 企业面对的市场或情况不同，有可能是单纯的技术 PaaS，或就是专业Paas，或两者兼顾之。技术Paas 应该有拓展能力，可以向不同专业PaaS发展。 标准化能力-微服务PAAS-应用架构治理-运行态稳定性管理-1 • 资源的治理，比如扩缩容、自愈等等 • 流量的治理，比如熔断、限流、可观察性、运维等等

背景 CurveFS初步设计见 ， 目前需细化Client端设计 CurveFS方案设计（总体设计，只实现了部分） 概述 CurveFS client 向上提供两层接口，分别是© XXX Page 3 of 11 对接fuse，提供通用文件系统接口。对于fuse接口，先前进行了一些调研，见FUSE调研 提供lib库，提供对接分布式数据库接口，这一部分，可参考polarfs的接口，如下图所示。 如果dentry缓存中不存在对应的inode，则从mds根据parent inode id获取parent inode 所在copyset，metaserver ip等信息 ，然后从metaserver获取denty（这里有两种方式，一种是只获取当前需要的 denty，一种是list整个目录的denty，这个需要考虑用哪个接口） 根据找到的denty结构，获取inodeid，设置 fuse_entry_param，返回给fuse 根据inode id，从mds获取inode所在copyset，metaserver ip等信息，然后从metaserver获取inode结构，缓存之； 判断上述各种oflag，执行相应的操作。（ ） 对于目前阶段来说，open可以什么都不做 create & mknod void (*create) (fuse_req_t req, fuse_ino_t parent, const char *name

DeepSeek-R1 探索出RL方 法，且公开技术 • 诞生推理型Scaling Law DeepSeek颠覆式创新——技术创新 29政企、创业者必读 技术上实现对美国的赶超 掌握通向AI下一阶段的方法论 DeepSeek颠覆式创新——技术创新  美国人仍在遵循预训练Scaling law范式，走堆显卡路线，如 “星际之门”计划  中国DeepSeek-R1的创新突破，诞生推理型Scaling DeepSeek六大应用方向之五 科学研究：打造科研新范式 44政企、创业者必读 AI For Science，为基础科学带来革命性变化 2024诺贝尔化学奖颁发给研发AlphaFold的两位AI专家 未来所有科学研究都将以AI为中心 过去如何做蛋白质研究 AlphaFold 1. X射线晶体衍射 2. 核磁共振 3. 冷冻电子显微镜 1. 利用Transformer的预测能力， DeepSeek+场景+智能体+知识库 66政企、创业者必读 67 企业应用AI的经验总结政企、创业者必读 建立AI信仰、培养AI素养 才能真正拥抱AI时代 68政企、创业者必读 个人AI能力的五个阶段 只会与大模型进行聊天（纳米AI） 能打造个人专业知识库，具备知识收集和整理能力（纳米AI知识库） 能使用常见的AI工具，能使用别人打造的智能体（纳米AI工具） 能搭建简单的智能体，能打造自己的工具和数字助手（纳米AI智能体）

，这主要体现在部署和运维阶段。 为了解决微服务应⽤在开发、测试和⽣产阶段环境⼀致性的问题，现代的微服务应⽤开发，都会将每⼀个组 件打包成 Docker 镜像，并以⼯作负载的形式对其进⾏部署。利⽤ DevOps 流⽔线中的持续集成和持续部署， 配合 Kubernetes 探针、HPA、应⽤⾃愈的能⼒，彻底解放了微服务应⽤的部署和运维环节。 但我们忽略了⼀个关键节点：开发阶段 微服务应⽤使⽤ Kubernetes kube/config 集群）。init 结束后，得到管理员和 ⾃动创建的开发者两个⻆⾊默认的账号密码，并输出了 Nocalhost Web 控制台的登陆地址： http://81.71.77.28 打开登陆地址，使⽤默认管理员⽤户名 admin@admin.com 和密码 123456 登陆 Web 控制台，控制台能够 管理⽤户、集群和应⽤。init 阶段⾃动使⽤部署 Nocalhost 的集群作为开发集群，同时创建了