1 并行不悖 – OLAP 在互联网公司的实践与思考 赵飞祥 2 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 ——

. . . . . . . . . . . . . . . . . . . . . 86 9.2.7 互联网教育 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 9.2.8 互联网文娱 . . . . . . . . . . . . . . . . . . . . . . . . . 2.10 通信科技 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 9.2.11 物联网 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 9.2.12 软件开发及服务 11 博客 93 iv Apache ShardingSphere ElasticJob document ElasticJob 通过弹性调度、资源管控、以及作业治理的功能，打造一个适用于互联网场景的分布式调度解 决方案，并通过开放的架构设计，提供多元化的作业生态。它的各个产品使用统一的作业 API，开发者仅 需一次开发，即可随意部署。 ElasticJob 已于 2020 年 5 月

o 5.3 物流 中通快递 - 从 Exadata 到TiDB HTAP 的升级之路 …37 5.4 零售 多点DMall- TiDB 助力新零售"业财一体化"运营 “039 5.5 互联网 小红书-TiDB HTAP 助力小红书业务升级“0 41 美国点评 -TiDB Operator 开启云原生运维的新时代 。。*"，''，43 汽车之家- TiDB 在 818 台网互动项目中的应用 等企业级核心特性，帮助企业最大化发挥数 据价值，充分释放企业增长空间。 目前，PingCAP 已经向包括中国、美国、欧洲、日本、东南亚等国家和地区，超过 1500 家企业提供服 务，涉及金融、运营商、制造、零售、互联网、政府等多个行业 1.2 创新成果 ，。 论文(TiDB:ARaftbased HTAP Database}被国际三大顶级数据库会议VLDB 2020 收录, 成为业界第 一篇 Real-time 有 云基础设施与平台 4.0 开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易 2000 万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5副本 TiKV，设计 40TB 运辑容量，同时将 TiDB 的数据实时复制到 MySQL，提升业务容灾能力。 PingCAP

(弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈 (Global Datasphere) 呈指数级递增， IDC预测全球数据圈将于 2025年增长值175ZB，而中国的 传统数据仓库往往需要巨大的人力投入进行数据库的安装和调试，PieCloudDB 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端，摆脱了物理限制和潜在的延迟，可随时随地通 过互联网轻松管理，无需任何硬件。数据随时随地可用，无需处理任何后端技术问题，为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径，保证了企业的全球化进程。 * 坚如赤石(高安全、高可靠) 传统数据仓库将

13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈（Global Datasphere）呈指数级递增， IDC预测全球数据圈将于 2025年增长值175ZB，而中国的数 据库的安装和调试，PieCloudDB 云原生虚拟数仓的“即开即用”特性 为企业节省了大量运维开支。由于 PieCloudDB 计算节点部署于云端，摆脱了物理限制和潜在的延迟，可随时随地通 过互联网轻松管理，无需任何硬件。数据随时随地可用，无需处理任何后端技术问题，为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径，保证了企业的全球化进程。 传统数据仓库将文件和资源存储在同一主机中，以

......................................................................................... - 14 - 内联网络：Interconnect .................................................................................... ........................................................................................ - 266 - 内联网络 ................................................................................................. 果反馈给 Master。 这一章节介绍组成 GP 数据库系统的组件及如何协同工作：  管理节点：Master  计算实例：Instance  内联网络：Interconnect Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 12 -

背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲，单一数据库实例的数据的阈值 在 1TB 之内，是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下，将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 ，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。

背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲，单一数据库实例的数据的阈值 在 1TB 之内，是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下，将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 分片到不同的数据库的方案。 4.3. 数据分片 24 Apache ShardingSphere document, v5.1.1 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。

背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲，单一数据库实例的数据的阈值 在 1TB 之内，是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下，将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 分片到不同的数据库的方案。 4.3. 数据分片 24 Apache ShardingSphere document, v5.1.0 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。

背景 随着通信技术的革新，全新领域的应用层出不穷，推动和颠覆整个人类社会协作模式的革新。数据存量 随着应用的探索不断增加，数据的存储和计算模式无时无刻面临着创新。 面向交易、大数据、关联分析、物联网等场景越来越细分，单一数据库再也无法适用于所有的应用场景。 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲，单一数据库实例的数据的阈值 在 1TB 之内，是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下，将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 ，分布到 不同的数据库中，从而将压力分散至不同的数据库。下图展示了根据业务需要，将用户表和订单表垂直 分片到不同的数据库的方案。 垂直分片往往需要对架构和设计进行调整。通常来讲，是来不及应对互联网业务需求快速变化的；而且， 它也并无法真正的解决单点瓶颈。垂直拆分可以缓解数据量和访问量带来的问题，但无法根治。如果垂 直拆分之后，表中的数据量依然超过单节点所能承载的阈值，则需要水平分片来进一步处理。