TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 708 6.1.5 Incremental replication between TiDB clusters · · · · · · · · · · · · · · · · · · · · · 708 6.1.6 More advanced migration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 805 6.5.1 Continuous Replication from Databases that Use gh-ost or pt-osc · · · · · 805 6.5.2 Migrate Data to a Downstream TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3108 13.10.12Bidirectional Replication between TiDB Clusters · · · · · · · · · · · · · · · · · · · 3110 13.10.13TiDB Binlog Glossary

TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 705 6.1.5 Incremental replication between TiDB clusters · · · · · · · · · · · · · · · · · · · · · 705 6.1.6 More advanced migration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 802 6.5.1 Continuous Replication from Databases that Use gh-ost or pt-osc · · · · · 802 6.5.2 Migrate Data to a Downstream TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3101 13.10.12Bidirectional Replication between TiDB Clusters · · · · · · · · · · · · · · · · · · · 3103 13.10.13TiDB Binlog Glossary

TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 703 6.1.5 Incremental replication between TiDB clusters · · · · · · · · · · · · · · · · · · · · · 703 6.1.6 More advanced migration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 800 6.5.1 Continuous Replication from Databases that Use gh-ost or pt-osc · · · · · 800 6.5.2 Migrate Data to a Downstream TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3076 13.10.12Bidirectional Replication between TiDB Clusters · · · · · · · · · · · · · · · · · · · 3078 13.10.13TiDB Binlog Glossary

TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 788 6.1.6 Incremental replication between TiDB clusters · · · · · · · · · · · · · · · · · · · · · 789 6.1.7 More advanced migration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 889 6.5.1 Continuous Replication from Databases that Use gh-ost or pt-osc · · · · · 889 6.5.2 Migrate Data to a Downstream TiDB · · · · · · · 968 7.3.5 Changefeed DDL Replication · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 973 7.3.6 Bidirectional Replication· · · · · · · · · · · · · · · · · · · · ·

TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 783 6.1.5 Incremental replication between TiDB clusters · · · · · · · · · · · · · · · · · · · · · 783 6.1.6 More advanced migration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 880 6.5.1 Continuous Replication from Databases that Use gh-ost or pt-osc · · · · · 880 6.5.2 Migrate Data to a Downstream TiDB Scenario · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3208 13.12.4 Data Check in the DM Replication Scenario · · · · · · · · · · · · · · · · · · · · · · · 3212 13.13 TiProxy · · · · · · · · · ·

node in the figure represents a data node (ChunkServer). A CopySet is the basic unit of data replication in CurveBS. A CopySet contains multiple chunks. Copysets in CurveBS are created in advance. 1. Reduce metadata. If the replication group membership is saved for each chunk, the number of metadata will be large. 2. Example Reduce the number of replication groups. The size of chunk is such as 16MB by default. If replication groups are created based on chunk. The number of replication groups is large and the communication traffic between replication groups is heavy. Once a CopySet

Benchmark TPC-H TiDB DM: TiDB Data Migration Tool TiDB DM (Data Migration) is an integrated data replication task management platform that supports: ● full data migration ● incremental data migration Amazon Aurora ○ https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/mysql-replication-gtid.html#mysql-replication-gtid.co nfiguring-aurora ● Make sure DM can connect to Amazon Aurora master (check security group rules) ● Ignore some unsupported syntax ○ ignore-checking-items: ["dump_privilege", "replication_privilege"] ○ example task.yaml: https://gist.github.com/c4pt0r/bcbf645ab475e5a603ad3d79d95c1757

按下面的配置模板，编辑配置文件，命名为 topo.yaml，其中： • user: "tidb"：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端 口通过 ssh 登录目标机器 • replication.enable-placement-rules：设置这个 PD 参数来确保 TiFlash 正常运行 • host：设置为本部署主机的 IP 配置模板如下： # # Global variables use-unified-pool: false readpool.coprocessor.use-unified-pool: true pd: replication.enable-placement-rules: true replication.location-labels: ["host"] tiflash: logger.level: "info" pd_servers: - 4000 509 gtid_port: 0 status: ONLINE weight: 1 compression: 0 max_connections: 1000 max_replication_lag: 0 use_ssl: 1 max_latency_ms: 0 comment: 步骤 4. 通过 ProxySQL 连接到 TiDB 集群 1. 运行 proxysql-connect

按下面的配置模板，编辑配置文件，命名为 topo.yaml，其中： • user: "tidb"：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端 口通过 ssh 登录目标机器 • replication.enable-placement-rules：设置这个 PD 参数来确保 TiFlash 正常运行 • host：设置为本部署主机的 IP 配置模板如下： # # Global variables use-unified-pool: false readpool.coprocessor.use-unified-pool: true pd: replication.enable-placement-rules: true replication.location-labels: ["host"] 89 tiflash: logger.level: "info" pd_servers: 4000 513 gtid_port: 0 status: ONLINE weight: 1 compression: 0 max_connections: 1000 max_replication_lag: 0 use_ssl: 1 max_latency_ms: 0 comment: 步骤 4. 通过 ProxySQL 连接到 TiDB 集群 1. 运行 proxysql-connect

按下面的配置模板，编辑配置文件，命名为 topo.yaml，其中： • user: "tidb"：表示通过 tidb 系统用户（部署会自动创建）来做集群的内部管理，默认使用 22 端 口通过 ssh 登录目标机器 • replication.enable-placement-rules：设置这个 PD 参数来确保 TiFlash 正常运行 • host：设置为本部署主机的 IP 配置模板如下： # # Global variables use-unified-pool: false readpool.coprocessor.use-unified-pool: true pd: replication.enable-placement-rules: true replication.location-labels: ["host"] tiflash: logger.level: "info" pd_servers: - 4000 442 gtid_port: 0 status: ONLINE weight: 1 compression: 0 max_connections: 1000 max_replication_lag: 0 use_ssl: 1 max_latency_ms: 0 comment: 步骤 4. 通过 ProxySQL 连接到 TiDB 集群 1. 运行 proxysql-connect