2.5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.1 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 59 2.6 MySQL Compatibility· · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.1 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics this report are as follows: • TiDB v5.1 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 •

2.5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.2 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 58 2.6 MySQL Compatibility· · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.2 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics this report are as follows: • TiDB v5.2 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 •

2.5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.3 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 70 2.6 MySQL Compatibility· · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.3 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics this report are as follows: • TiDB v5.3 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 70

TiDB ����� Apache Spark ��� ● �� Apache Spark �� ○ Apache Zeppelin��� Hive ��������R �� ● � TiDB ��������� ○ ����� Join ������� ● � TiDB �������������� ● ���������������WIP� TiSpark Spark Exec Spark Spark Exec Spark Driver Spark Exec TiKV TiKV TiKV TiKV TiSpark TiSpark TiSpark TiSpark TiKV Placement Driver (PD) gRPC Distributed Storage Layer gRPC retrieve data location retrieve data from ������������������ ○ Binlog ���������������� ■ TiDB �������� MySQL ������� ○ ���������������� SQL �� ○ �� Spark �������� ○ ������������������ ���� - ���� Thank You !

2. $ cd /opt/spark/data/tispark-sample-data 3. $ mysql -h tidb -P 4000 -u root < dss.ddl 当样本数据加载到 TiDB 集群之后，可以使用 docker-compose exec tispark-master /opt/spark/bin/spark-shell 来访 问 Spark shell。 1. $ docker-compose exec tispark-master /opt/spark/bin/spark-shell 2. ... 3. Spark context available as 'sc' (master = local[*], app id = local-1527045927617). 4. Spark session available as 'spark'. 5. Welcome to 6. 15. 16. scala> import org.apache.spark.sql.TiContext 17. ... 18. scala> val ti = new TiContext(spark) 19. ... 20. scala> ti.tidbMapDatabase("TPCH_001") 21. ... 22. scala> spark.sql("select count(*) from

· · 70 2.5.3 TiDB TPC-H Performance Test Report – TiDB v5.4 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · · · · · · · 74 2.6 MySQL Compatibility· · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100 GB performance of TiDB v5.4 in the MPP mode with that of Greenplum and Apache Spark, two mainstream this report are as follows: • TiDB v5.4 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite 74 Instance type

· · · · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.2 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.2 MPP 模式下相对这些方案有 2-3 2 中进行了功能优化，这大大幅增强了 TiDB HTAP 形态。 本文的测试对象如下： • TiDB v5.2 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 48 2.5.3.2 测试环境 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630

· · · · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · TiDB TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.1 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.1 MPP 模式下相对这些方案有 2-3 中新引入了TiFlash 组件的 MPP 模式，这大幅增强了 TiDB HTAP 形态。本文的测试对象如下： • TiDB v5.1 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 测试环境 48 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630

0 vs. v6.0.0 · · · · · · · · · · · 99 2.5.3 Performance Comparison between TiFlash and Greenplum/Spark· · · · · 102 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Cloud and Snowflake · · · · · · · · · · · · · · · · · · · · · 726 7.1.2 Integrate with Apache Kafka and Apache Flink · · · · · · · · · · · · · · · · · · · · 726 7.2 Integration Scenarios · · · · · · Confluent Cloud and Snowflake · · · · · · · · · · · · · · · · 726 7.2.2 Integrate Data with Apache Kafka and Apache Flink · · · · · · · · · · · · · · · 741 8 Maintain 746 8.1 Upgrade· · · · · · · · · · ·

Cloud and Snowflake · · · · · · · · · · · · · · · · · · · · · 798 7.1.2 Integrate with Apache Kafka and Apache Flink · · · · · · · · · · · · · · · · · · · · 798 7.2 Integration Scenarios · · · · · · Confluent Cloud and Snowflake · · · · · · · · · · · · · · · · 798 7.2.2 Integrate Data with Apache Kafka and Apache Flink · · · · · · · · · · · · · · · 813 8 Maintain 818 8.1 Upgrade· · · · · · · · · · · nodes based on the actual status of the system. • TiSpark • If your data needs to be analyzed with Spark, deploy TiSpark. For specific process, see TiSpark User Guide. 3.4.4 Data preparation After TiFlash