TokuDB索引结构 网易杭州研究院---胡争（博客：openinx.github.io） TokuDB简介 • 基于分形树实现的MySQL存储引擎 • Tokutek公司2007年研发，2013年开源 • 2015年Percona公司收购Tokutek公司 • TokuDB内部的K-V存储引擎为ft-index • TokuMx: ft-index + MongoDB Server层代码 4M vs InnoDB 16K） 更高性能，更低成本！ 分形树索引结构（一） 分形树结构（二） • msg_buffer – 先进先出队列 • BasementNode（OMT） – 弱平衡二叉树 – 增删改查期望复杂度O(logN) • 页大小默认4M。 • 扇出fanout默认[4,16]区间。 分形树结构（三） 分形树Insert/Update/Delete • 步骤：

1M-8M 之间  设计合理的数据表结构：适当的数据冗余 设计合理的数据表结构：适当的数据冗余  对数据表建立合适有效的数据库索引 对数据表建立合适有效的数据库索引  数据查询：编写简洁高效的 数据查询：编写简洁高效的 SQL SQL 语句 语句 应用优化 应用优化 应用优化方式 应用优化方式 应用优化 应用优化 表结构设计原则 表结构设计原则 选择字段的一般原则是保小不保大，能用占用字节 唯一性约束，系统将默认为改字段建立索引。 唯一性约束，系统将默认为改字段建立索引。  对于只是做查询用的数据库索引越多越好，但对于在线实时 对于只是做查询用的数据库索引越多越好，但对于在线实时 系统建议控制在 系统建议控制在 55 个以内。 个以内。  索引不仅能提高查询 索引不仅能提高查询 SQL SQL 性能，同时也可以提高带 性能，同时也可以提高带 where where 字句 字句 的 STATUS STATUS 、 、 SHOW ENGINES SHOW ENGINES  使用 使用 DESC TABLE xxx DESC TABLE xxx 来查看表结构，使用 来查看表结构，使用 SHOW SHOW INDEX INDEX FROM xxx FROM xxx 来查看表索引 来查看表索引  使用 使用 LOAD DATA

od配合cpu-quota一起使用，来限制容器的CPU的使用量 。比cpuset-cpus绑定CPU的方式灵活。 限制容器内存，且内存不超卖。通过—memory限制内存，同时结合MySQL自身参数控制 几个内存大户(比如buffer_pool等)，最后配合lxcfs增强隔离性。 IO方面由于我们采用挂载宿主机本地的磁盘设备，还不能做到彻底隔离。所以对于高IO的实 例使用的是PCIE-SSD。磁 均耗时等多个维度的指标。同时也支持ui上查看执行计 划和表结构信息。 • 实例迁移我们支持了全实例、库、表级别的迁移,并且同时兼容各种MySQL版本。 全量迁移基于开源工具mydumper和myloader做了定制化开发，解决了一些问题，比如 utf8mb4导致乱码的问题等。 增量复制使用的是公司自研的基于binlog复制的产品。该工具支持指定库、表级别复制，另外 也支持源与目标命名不一致(结构一致)的复制。 数据库及实例迁移

Enterprise Monitor •在 10 分钟内开始监视 MySQL •实时监视 MySQL 性能和可用性 •直观地查找和修复有问题的查询 •监视磁盘，以便制定容量规划 •适合部署到云的体系结构 – 不需要代理 •可选的代理方式能提供高级 主机/OS 监视 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 12 Enterprise Replication Shared Storage • Group Replication • MySQL Cluster MySQL Cluster 概述 • 具有持久性的内存优化表 • 延迟时间短且可预测，访问时间控制在一定范围内 实时 • 自动分片、多主 • 符合 ACID，OLTP + 实时分析 高伸缩性，读取 + 写入 • 无共享，无单点故障 • 自我修复 + 联机运行 99.999% 可用性 • 关键字/值 开源 + 商业版本 • 通用硬件 + 管理、监视工具 总体拥有成本低 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 25 MySQL Cluster 体系结构 MySQL Cluster 数据节点 客户机 应用程序层 数据层 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 26 Cluster Mgr

=分钟或更长时间（ 手动故障转移） 无写入性能影响 特点 • 简单易用 • 熟悉的界面和可用性 mysqlsh,CLONE,... • 在线添加/删除节点/集群 • 路由器集成， 拓扑结构发生变化时无需重新配置 应用程序 M ySQL InnoDB ClusterSet – 3 个数据中心 Copyright @ 2021 Oracle and/or its affiliates 库运行 Copyright @ 2021 Oracle and/or its affiliates. 数据中心崩溃/分区 - 路由器集成 45 / 55 路由器集成 • 路由器将了解新的拓扑结构并重定向流量 • 恢复的路由器将了解新的拓扑并放弃旧的主集 群（ 例如， 故障DC 重新上线） 数据中心崩溃/分区 - 支持多个副本集群 Copyright @ 2021 Oracle and/or

MYSQL_USER、MYSQL_PASSWORD、MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将 run 命令写成脚本，创建后使用 docker inspect <容器名> 仔细查看容器信息，关注镜像公开的端口和文件目录。如果发现达不到要求，使 MYSQL_DATABASE=medical_waste \ -e TERM=linux \ -d mariadb 第三步 配置一主一从集群 3.1 接下来启动另一个容器作为从数据库，因为镜像不支持在容器内进入 mysql 控制 台，所以依然需要把端口暴露出来以供局域网访问,但主数据库容易可以链接进 来作为一个可访问的主机 master_db。 docker run --name <从数据库名> -e MYSQL_ROOT_PASSWORD=<从数据库 server-id 大的数字，mdb2 同样需要重启。 3.4 使用客户端连接上主数据库，这里我使用的是 mysql workbench，从数据库因为 安全考虑并没有公开端口给主机，只能进入容器的 mysql 控制台进行操作。 在主数据库中执行 SQL 脚本： /*设定用于同步的账号、密码*/ grant replication slave on *.* to ‘sync’@'%' identified by

方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 10.1.1.113 10.1.1.176 Centos 机器也能用起来，提 高系统资源的利用率，减少 master 端的负载。应用中读数据库配置读 VIP，写数 据库配置写 VIP。这个方案也能够很方便的进行单台数据库的管理维护以及切换 工作。比如进行大表的表结构更改、数据库的升级等都是非常方便的。 3.5 方案实战 3.5.1 实战环境介绍 服务器名 IP VIP 系统 Mysql Master 10.1.1.113 10.1

通过加密数据库的物理文件来实现静止数据加密。数据在写 入存储之前实时自动加密，从存储读取时自动解密。因此，黑客和恶意用户无法从表空间文件、 数据库备份或磁盘中读取敏感数据。MySQL 企业级 TDE 使用双层加密密钥体系结构，包括主加 密密钥和表空间密钥，可轻松实现密钥管理和轮换。 MySQL 企业级加密 为在整个生命周期全程保护敏感数据，MySQL 企业级加密提供非对称加密（公钥加密）的行业 标准功能。MySQL