PolarDB-X 如 何 做 生 态兼 容 好的 MySQL 兼容性可以做到什么程度 胡中泉（舟济） 阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕 MySQL Binlog 可行性 • 多节点产生多个增量事件队列 • 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 MySQL Binlog 完全一致体验 • 文件格式兼容：Binlog v4 row-based • SQL 指令兼容：show binary logs… • MySQL DUMP 协议 • 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave（change master） • DTS • Canal/CloudCanal • Maxwell • Debezium

方案实现 方案一：chubaofs 方案二：事务方案 方案三：利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作？ 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 3. rename 流程举例说明？ 例 1：rename A→B (A 存在，而 B 不存在) 例 2：rename A→C (A 存在，而 C 存在) 4. 当 2 个操作的 dentry 的 inode id）。 关于 rename 接口的实现，主要调研了 chubaofs 和 juicefs，而 rename 的实现难点主要在于其原子性的保证。 方案调研 Chubaofs chubaofs 中的 rename 实现不是原子性的，它是通 用创建源文件的硬连接，然后删除源文件的方式来实现的，主要有以下 4 步 ： 将源文件的 nlink 加一 创建目标文件的 dentry 删除源文件的 dentry，相当于多了一个硬链接，Linux 和 POSIX 这一步出错 接口中表明这允许一段时间内存在，但是最终还是要原子性，所以这一步出错会导致和本地文件系统不一致的行为： Linux 接口定义允许 rename 过程中某一段时间存在这样的硬链接（或者 rename 执行到一半断电也会存在） 而 POSIX 接口中提到了该函数得是原子（不断电的情况下，rename 操作不能被其他操作打断，不存在中间状态） 参考： Is

OpenAtom openEuler（简称“openEuler”） 社区是一个面向数字基础设施操作系统的开源社区。由开放原子开源基金会（以 下简称“基金会”）孵化及运营。 openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布，为 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、 嵌入式等更多场景。openEuler 正

openEuler 社区，是一个面向数字基础设施操作系统的开源社区，简称 openEuler 或者 openEuler 社区。由开放原子开源基金会（以下简称“基金会”）孵化及运营。 openEuler 是一个面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算， 致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持 多种处理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 2020 年 3 月 30 日， openEuler 20.03 LTS （Long Term Support，简写为 LTS，中文为长生命周期支持）版本正式发布， openEuler 22.03 LTS 创新版本 openEuler 22.09 openEuler 23.03 长生命周期版本 : 每两年发布一次，在创 新版本基础上提供长生命周期管理，维护 性能，可靠性和兼容性 创新版本 : 长生命周期版本之间每半年发 布一次，集成 openEuler 以及其他社区最 新版本技术进展。 openEuler 社区主线 20.03 首个创新版 内核创新版 云原生创新版

服务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 09 长生命周期版本 创新版本 openEuler 社区主线 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 全场景长周期版 20.03 20.09 21.03 21.09 22.03 22.09 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。

云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用提供确定 性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 03 openEuler 21.09 长生命周期版本 创新版本 首个创新版 内核创新版 全场景版本 长生命周期版本：每两年发布一次， 在创新版本基础上提供长生命周期管理； 维护性能、可靠性和兼容性。 创新版本：长生命周期版本之间每 半年发布一次，集成 openEuler 以及其他社区最新版本技术进展 20.03 20.09 21.03 21.09 22.03 22.09 23.03 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及抖动 抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能

如果文件存在，且是个普通文件，具有对该文件的写权限，该flag会将文件长度截断为0。 O_TRUNC : 追加写，每次write都会将file offset 指向文件尾（file offset的修改和write操作在一个原子操作中完成）。 O_APPEND O_NONBLOCK O_NDELAY: O_NONBLOCK和O_NDELAY所产生的结果都是使I/O变成非阻塞模式(non-blocking)，在读取不到 然后由操作系统同步到块设备（如磁盘）中。对于通用块设备层来说要求io请求是块设备blocksize对齐的，对应buffered io在pagecache层做了对齐，对应direct_io需要用户层来保证。© XXX Page 18 of 23© XXX Page 19 of 23 实现：direct_io功能实现由VFS层提供，fuse也进行了支持，用户态文件系统要支持该flag需要在open中 ime的修改后，对O_NOFOLLOW和O_NOATIME进行测试（优先级中）。 3，目前I/O模式类flag（O_SYNC, O_DSYNC, O_NONBLOCK）经测试不会“影响“结果的正确性，后面继续对其实现方式进行研究（优先级中）。 参考文献 https://man7.org/linux/man-pages/man2/open.2.html https://www.cnblogs

l循环 convertquota 把老的配额文件转换为新的格式 cp 将源文件或目录复制到目标文件或目录中 cpio 用来建立、还原备份档的工具程序 crontab 提交和管理用户的需要周期性执行的任务 csplit 将一个大文件分割成小的碎片文件 cu 用于连接另一个系统主机 cupsdisable 停止指定的打印机 cupsenable 启动指定的打印机 curl 利用URL规则在命令行下工作的文件传输工具 连接文件并打印到标准输出设备上 D date 显示或设置系统时间与日期 dd 复制文件并对原文件的内容进行转换和格式化处理 declare 声明变量，设置或显示变量的值和属性 depmod 分析可载入模块的相依性 df 显示磁盘的相关信息 dhclient 动态获取或释放IP地址 dhcpd 运行DHCP服务器 dhcrelay 使用dhcrelay命令可以提供中继DHCP和BOOTP请求 diff 显示和清空目录堆栈中的内容 dstat 通用的系统资源统计工具 du 显示每个文件和目录的磁盘使用空间 dump 用于备份ext2或者ext3文件系统 E e2fsck 用于检查第二扩展文件系统的完整性 e2label 设置第二扩展文件系统的卷标 echo 输出指定的字符串或者变量 ed 单行纯文本编辑器 edquota 用于编辑指定用户或工作组磁盘配额 egrep 在文件内查找指定的字符串

前言： Linux 有啥功能 很多刚接触 Linux 的朋友常常会问的一句话就是：『我学 Linux 就是为了架设服务器，既然只是为了架设服务 器，为什么我还要学习 Linux 的其他功能？例如：例行性工作排程、Bash Shell ，又干嘛去认识所有的登录档等 等，我又用不到！此外，既然有好用的 Web 接口的 Server 设定软件，可以简单的将网站架设起来，为什么我还要 去学习 vim 手 另外，如果你使用工具 (例如 Webmin) 却怎么也架设不起来某个网站时，要怎么解决？如果你不懂该 Server 的 运作原理与 Linux 系统的除错讯息，那么难道只能无语问苍天？不要怀疑这种情况的可能性， 参考一下各大论坛上 面的留言就可以很清楚的知道这种情况的存在有越来越明显的趋势呢！ 所以说，架设服务器之前还是有一些基本的技能需要学会的！而且这些技能是『一旦学会之后，真正是终身受用 啊！』只要花一个学期 在这一章当中，鸟哥不再就 linux 基础指令进行解析，因为在 『鸟哥的 Linux 私房菜 — 基础学习篇』 里面已经详细的介绍过了！ 如果持续的介绍指令，简直是浪费篇幅～所以底下仅介绍一个 Linux 基础学习重要性的 分析喔！ 1.1.2 架设服务器难不难呢？ 3.1. 1.1 前言： Linux 有啥功能 - 15 - 本文档使用 书栈(BookStack.CN) 构建 原文: https://wizardforcel

应用变更 - 先读写新增的s3 objects列表, 由于新增了version字段, 不会涉及到覆盖老的对象 - 加锁, 增量的更新inode的s3chunkinfolist, 保证原子更新, 更新失败回退新增数据 - 等待N秒, 保证mds已经告知client缓存失效, 需要更新为新的s3chunkinfolist // 需不需要这个步骤@xuchaojie @chenwei确认 - 删除老的object 在做变更时如果有其他op可能会产生的冲突: 读: 在执行变更删除原来的s3 object时, 执行读的客户端的缓存可能还是原有的chunkinfolist, 可能会去读已经删除的object, 这种时候读会失败 可以使用双重保证 读失败的时候retry, 或许可以重拉metadata 整理后, mds在一个时间间隔内主动告知client这个inode元数据缓存失效, 重拉 写: 只是对chunkinfolist做新增,