2. $ cd /opt/spark/data/tispark-sample-data 3. $ mysql -h tidb -P 4000 -u root < dss.ddl 当样本数据加载到 TiDB 集群之后，可以使用 docker-compose exec tispark-master /opt/spark/bin/spark-shell 来访 问 Spark shell。 1. $ docker-compose exec tispark-master /opt/spark/bin/spark-shell 2. ... 3. Spark context available as 'sc' (master = local[*], app id = local-1527045927617). 4. Spark session available as 'spark'. 5. Welcome to 6. 16. scala> import org.apache.spark.sql.TiContext 17. ... 18. scala> val ti = new TiContext(spark) 19. ... 20. scala> ti.tidbMapDatabase("TPCH_001") 21. ... 22. scala> spark.sql("select count(*) from lineitem")

Apache Cassandra 快速入门指南（Quick Start） Spark大数据博客 - https://www.iteblog.com Apache Cassandra 快速入门指南（Quick Start） 我们在这篇文章简单介绍了 Apache Cassandra 是什么，以及有什么值得关注的特性。本文将简单介绍 Apache Cassandra 的安装以及简单使用，可以帮助大家快速了解 3.11.4。Apache Cassandra 可以在 Linux、Unix、Mac OS 以及 Windows 上进行安装，为了简便起见，本文以 CentOS 为例进行介绍。 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 下载、安装并启动 Cassandra 因为本文只是简单介绍 Apache Cassandra 的使用，所以本文仅安装单机版的 21:12 tools 1 / 11 Apache Cassandra 快速入门指南（Quick Start） Spark大数据博客 - https://www.iteblog.com 各个文件或目录介绍如下： bin：这个目录下包含了启动 Cassandra 以及客户端相关操作的可执行文件，包括 query language

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado op/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理。而 在数据应用交互层面，由于时效性的要求，数据最终的展现查询还是需要通过DBMS（MySQL） 、MOLAP（Kylin）引擎来进行支撑。如下图所示： 如果想及时了 解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增 量业务，预设维度分析场景下表现良

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.1 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 59 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.1 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.1 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 • CPU:

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.2 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 58 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.2 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.2 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 • CPU:

5.3 TiDB TPC-H 100GB Performance Test Report – TiDB v5.3 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · 70 2.6 MySQL Compatibility· · · · · · · · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100GB performance of TiDB v5.3 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.3 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite • Node count: 3 70 •

· · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.2 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.2 MPP 模式下相对这些方案有 2-3 中进行了功能优化，这大大幅增强了 TiDB HTAP 形态。 本文的测试对象如下： • TiDB v5.2 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 48 2.5.3.2 测试环境 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4

· · · · · · · · · · · · 46 2.5.3 TiDB TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.1 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 2.5.3.1 测试概况 本次测试对比了 TiDB v5.1 MPP 模式下和主流分析引擎例如 Greenplum 和 Apache Spark 最新版在 TPC-H 100 下的性 能表现。结果显示，TiDB v5.1 MPP 模式下相对这些方案有 2-3 组件的 MPP 模式，这大幅增强了 TiDB HTAP 形态。本文的测试对象如下： • TiDB v5.1 MPP 执行模式下的列式存储 • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 测试环境 48 2.5.3.2.1 硬件配置 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4

Apache Spark ��� ● �� Apache Spark �� ○ Apache Zeppelin��� Hive ��������R �� ● � TiDB ��������� ○ ����� Join ������� ● � TiDB �������������� ● ���������������WIP� TiSpark Spark Exec Spark Exec Spark Driver Spark Exec TiKV TiKV TiKV TiKV TiSpark TiSpark TiSpark TiSpark TiKV Placement Driver (PD) gRPC Distributed Storage Layer gRPC retrieve data location retrieve data from TiKV ��� ������������������ ○ Binlog ���������������� ■ TiDB �������� MySQL ������� ○ ���������������� SQL �� ○ �� Spark �������� ○ ������������������ ���� - ���� Thank You !

70 2.5.3 TiDB TPC-H Performance Test Report – TiDB v5.4 MPP mode vs. Greenplum 6.15.0 and Apache Spark 3.1.1 · · · · · · · · · · · · · · · · · · · · · · 74 2.6 MySQL Compatibility· · · · · · · · · · · Greenplum 6.15.0 and Apache Spark 3.1.1 2.5.3.1 Test overview This test aims at comparing the TPC-H 100 GB performance of TiDB v5.4 in the MPP mode with that of Greenplum and Apache Spark, two mainstream analytics report are as follows: • TiDB v5.4 columnar storage in the MPP mode • Greenplum 6.15.0 • Apache Spark 3.1.1 + Parquet 2.5.3.2 Test environment 2.5.3.2.1 Hardware prerequisite 74 Instance type Instance