Greenplum 开源MPP数据仓库介绍 李晓亮 Greenplum工程师、内核团队经理 Confidential │ ©2022 VMware, Inc. 2 Agenda Ø Greenplum简介 Ø Greenplum的MPP架构 Ø 分布式优化器: Postgres planner 和 ORCA Ø 分布式事务和执行 Ø Greenplum存储 Greenplum生态 Ø Greenplum 7 Confidential │ ©2022 VMware, Inc. 3 Greenplum简介：什么是Greenplum? 基于PostgreSQL、开源、分布式MPP、ACID完备、为OLAP优化的关系型数据仓库。 https://greenplum.org https://github.com/greenplum-db/gpdb Confidential 2010年被EMC收购 Ø 2012年成为Pivotal的一部分 Ø 2015年开源，可能是世界上第一个成熟商用的开源 MPP数据仓库 Ø 2019年底跟随Pivotal被VMware收购 Confidential │ ©2022 VMware, Inc. 5 谁在用Greenplum? Ø 500多付费企业客户 Ø 成千上万的开源用户 Ø 支撑巨大的生产集群: q 250+ servers q

深度揭秘Greenplum开源数据库 透明加密 Greenplum 研发工程师 王淏舟 1. 我们所面临的问题 2. 基于pgcypto的数据加密方案 3. GPDB数据透明加密方案设计 4. GPDB数据透明加解密流程 5. 总结 我们所面临的问题 什么是Greenplum数据库 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall pgcypto的问题 一款开源的HTAP数据库: • pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall again GPDB透明加密 一款开源的HTAP数据库:

而TipDB TiDB 开源分布式关系型数据库 TiDB PRODUCT PORTFOLIO & VERITICAL CASE STUDY 外网全钼 外和折马外 COeG6 平凯星辰 (北京) 科技有限公司 目录 Contents 第一章 关于 PingCAP 1L1 PingCAP简介 05 12 创新成果 05 1.3 发展历程 06 1.4 技术标准起草 07 15荣誉1 07 07 16 代表用户 08 第二章 TiDB 开源分布式关系型数据库 2.1 产品简介。 2.2 TiDB架构图.ee 10 23 核必特性 11 2.4 TiFlash 高性能列式分析引擎 12 25 TiDB企业 12 2.6 TiDB 社区版与企业版差异 13 第三章 TiDB 生态工具 3.1 数据迁移 . 16 5 一05 1.1 PingCAP 简介 PingCAP 成立于 2015 年，是一家企业级开源分布式数据库厂商，提供包括开源分布式数据库产品、解 决方案与咨询、技术支持与培训认证服务，致力于为全球行业用户提供稳定高效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP

TiDB 架构及开源之路 申砾 @ PingCAP About Me • VP of Engineering @ PingCAP • Netease/360/PingCAP • Tech lead of TiDB About PingCAP • Since 2015 • Beijing, Shanghai, Guangzhou, Silicon Valley, Home • Open-Source

开源 MPP 数据库的不二之选: Pivotal Greenplum 5.0 姚延栋 yyao@pivotal.io 开放源代码 SQL 企业级数据库 生态系统 MPP 高速数据加载 多态存储 表‘SALES’ 列存储 行存储 1月 一年前 二年前 外部表 12月 11月 4月

白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ............................................................................................ 4 欧拉开源操作系统 .............................................................................................. ............................................................................................ 6 欧拉开源操作系统平台架构 ..........................................................................................

ORACLE 产品介绍 MySQL 企业版 全球广受欢迎的开源数据库 重要特性  Oracle MySQL 服务云  MySQL 数据库  MySQL 企业级备份  MySQL 企业级高可用性  MySQL 企业级可扩展性  MySQL 企业级身份验证  MySQL 企业级 TDE  企业级安全性来利用现有安全基础架构  使用加密、密钥生成和数字签名保护敏感数据  通过 MySQL 企业级防火墙阻止针对数据库的攻击（如 SQL 注入）  对现有 MySQL 应用实施基于策略的审计合规性  通过 MySQL Enterprise Monitor 提高数据库性能和可用性  通过 MySQL Query Analyzer 查明影响数据库性能的 SQL 代码 监视和调优等管理任务。多层安全可以保护您的数据免受外部攻击，同时帮助您实现合规性。自 助式供应可创建预配置的 MySQL 数据库，针对性能进行优化；而自动扩展能够让用户弹性扩展 计算资源、存储资源和 MySQL 副本。 MySQL 数据库 MySQL 凭借经济高效、可靠、高性能且可扩展的电子商务、联机事务处理和嵌入式数据库应用 成为全球使用广泛的开源数据库。它是一种事务安全、符合 ACID 标准的集成式数据库，支持全

获取最新的文档，以跟上知识更新换代的步伐。 文档地址：http://www.bookstack.cn/books/pingcap-docs-cn 书栈官网：http://www.bookstack.cn 书栈开源：https://github.com/TruthHun 分享，让知识传承更久远！ 感谢知识的创造者，感谢知识的分享者，也感谢每一位阅读到此处的读者，因为我们 都将成为知识的传承者。 致谢 - 6 - Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 M 高可用 README - 13 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 简介 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 M

SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database 耦合较大，存在功能依赖 相 互 隔 离 ， 互 无 感 知 组合方式 固 定 的 组 合 方 式 ： 以 数 据 分 片 为 基 础 ， 叠 加 读 写 分 离 和 数 据 加 密 等 功 能 自 由 的 组 合 方 式 ： 数 据 分 片 、 读 写 分 离 和 数 据 加 密 等 功 能 自 由 组 合 使 用 产 品 架 构 部 署 架 构 l ShardingSphere-JDBC RDL（Resource & Rule Definition Language）负责资源 和规则的创建、修改和删除； • RQL（Resource & Rule Query Language）负责资源和规 则的查询和展现； • RAL（Resource & Rule Administration Language）负责 Hint、事务类型切换、分片执行计划查询等增量功能的操作。 D i s t

领 团 队 和 原 Greenplum产品及社区核⼼成员 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构，并有成员获有 奥赛奖牌。 郭罡（Paul Guo） 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 ， 三 权 分 离 • 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运