com www.top100summit.com Greenplum机器器学习⼯工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） MADLib: 数据挖掘、统计分析、图（Graph）等算法 • GPText：文本检索和分析 • GeoSpatial：地理信息数据分析 • Image: 图像数据分析 Greenplum 机器器学习⼯工具集 2017.thegiac.com Greenplum Procedure Language PLPython, PLR 2017.thegiac.com PL/Python

的分布式优势，也就是说，学好这些 知识是极其重要的。和很多 IT 技术一样，入门很容易，精通很难，编者认为，GP 入 门更容易，精通也更难，一般不要指望通过几个月的刻苦学习就能达到很深的造诣，甚 至有些人学习了多年，仍无法驾轻就熟的使用和调优，不过，也不要气馁，这就如同打 游戏，不断的学习和积累，终究会在某个点突破禁锢，登堂入室。 数据是如何存储的 要理解 GP 是如何在不同的 Instance 之间存储数据的，可以参考下图所示的简单 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 40 -  针对GP的pgAdminIII作为一种强化版本支持GP数据库。从1.10.0版本开始， PostgreSQL 客户端工具 pgAdminIII 开始支持 GP 特性。安装包可以从 pgAdmin 网站下载。因 pgAdminIII 很久没有更新了，对于 实际上，正如前面所述，RLE压缩算法并没有什么实用意义，忘记这个事情就好了， 好好使用ZSTD就对了。 在列上设置压缩 注意：编者不希望读者浪费很多时间来学习这部分的知识，所以，先把观点列出来，编 者根据10年的经验判断，除了作为一块知识来学习外，可能永远也不需要在每个字段 上设置压缩，因为那是极其多余和毫无意义的。在真实的使用环境中，往往列存储的选 择都应该是极其少见的，因为列存储的选择需要满足多方面条件，选择列存的往往是那

2/tidb-resource-control#绑定资源组"> �→ 为切换资源组引入权限控制 随着资源管控功能被广泛应用，对资源组切换操作的权限控制能够避免数据库用户对资源的滥用， �→ 强化管理员对整体资源使用的保护，从而提升集群的稳定性。 2.2.1 功能详情 2.2.1.1 性能 • 支持下推以下 JSON 函数到 TiKV #50601 @dbsid – JSON_ARRAY_APPEND() 快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 71 3.1.3 探索更多 如果你刚刚部署好一套 TiDB 本地测试集群，你可以继续： • 学习TiDB SQL 操作 • 迁移数据到 TiDB 如果你准备好在生产环境部署 TiDB，你可以继续： • 使用 TiUP 部署 TiDB 集群 • 使用 TiDB Operator 在 Kubernetes

快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 87 3.1.3 探索更多 如果你刚刚部署好一套 TiDB 本地测试集群，你可以继续： • 学习TiDB SQL 操作 • 迁移数据到 TiDB 如果你准备好在生产环境部署 TiDB，你可以继续： • 使用 TiUP 部署 TiDB 集群 • 使用 TiDB Operator 在 Kubernetes 功能还不太了解，希望快速试用体验，请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景，建议先观看下面的培训视频（时长 15 分钟）。 注意本视频只作为学习参考，如需了解详细的 HTAP 相关内容，请参阅下方的文档内容。 3.4.1 HTAP 适用场景 TiDB HTAP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现

快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 3.1.3 探索更多 如果你刚刚部署好一套 TiDB 本地测试集群，你可以继续： • 学习TiDB SQL 操作 • 迁移数据到 TiDB 如果你准备好在生产环境部署 TiDB，你可以继续： • 使用 TiUP 部署 TiDB 集群 91 • 使用 TiDB Operator 在 功能还不太了解，希望快速试用体验，请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景，建议先观看下面的培训视频（时长 15 分钟）。 注意本视频只作为学习参考，如需了解详细的 HTAP 相关内容，请参阅下方的文档内容。 3.4.1 HTAP 适用场景 TiDB HTAP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现

快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 3.1.3 探索更多 如果你刚刚部署好一套 TiDB 本地测试集群，你可以继续： • 学习TiDB SQL 操作 • 迁移数据到 TiDB 如果你准备好在生产环境部署 TiDB，你可以继续： • 使用 TiUP 部署 TiDB 集群 84 • 使用 TiDB Operator 在 功能还不太了解，希望快速试用体验，请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景，建议先观看下面的培训视频（时长 15 分钟）。 注意本视频只作为学习参考，如需了解详细的 HTAP 相关内容，请参阅下方的文档内容。 92 3.4.1 HTAP 适用场景 TiDB HTAP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现

快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 3.1.3 探索更多 • 如果你刚刚部署好一套 TiDB 本地测试集群： – 学习TiDB SQL 操作 – 迁移数据到 TiDB • 如果你准备好在生产环境部署 TiDB 了： – 在线部署：使用 TiUP 部署 TiDB 集群 – 使用 TiDB Operator 在云上部署 功能还不太了解，希望快速试用体验，请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景，建议先观看下面的培训视频（时长 15 分钟）。 注意本视频只作为学习参考，如需了解详细的 HTAP 相关内容，请参阅下方的文档内容。 95 3.4.1 HTAP 适用场景 TiDB HTAP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现

具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据，多引擎计算」 弹 性 扩 缩 容 结 合 开 发 垂 直 应 用 • CMU战略合作⼤模型基础理论，训练合作⼀事⼀议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能⼒。组件少，提供可 视化管理平台，运维管理简单，通过短暂学习即可掌握，⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务，7 * 24的安⼼保障。 @2024 OpenPie. All rights reserved. OpenPie Confidential

合 开 发 垂 直 应 用 • CMU战略合作大模型基础理论，训练合作一事一议 πCloudDB πCloudVector πCloudML 虚拟数仓服务HTAP | 点查 (大模型)机器学习 向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经网络） 和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 属于信创产业。支持公有云，可充分利用云资源的弹性能力。组件少，提供可视 化管理平台，运维管理简单，通过短暂学习即可掌握，无论是原厂商还是生态合 作伙伴都可以直接提供技术服务，7 * 24的安心保障。 πDataCS 优势1 ：全面升级Hadoop大数据和Greenplum数仓至云原生数据平台 PieC 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台，在动态扩缩容过程中无需移动 数据，充分保障数据的一致性 • 使用简单，学习成本低，无需额外投入 • 既满足了向量存储和向量搜索的需求，又升级实 现了云上分布式向量化计算的技术突破 • 支持多种向量搜索算法，为不同的业务场景提供 更灵活高效的解决方案 突破传统数据库的技术瓶颈

快速上手指南。 要快速了解 TiUP 的基本功能、使用 TiUP 快速搭建 TiDB 集群的方法与连接 TiDB 集群并执行 SQL 的方法，建议先 观看下面的培训视频（时长 15 分钟）。注意本视频只作为学习参考，如需了解TiUP 的具体使用方法和TiDB 快 速上手具体操作步骤，请以文档内容为准。 75 3.1.1 部署本地测试集群 • 适用场景：利用本地 macOS 或者单机 Linux 环境快速部署 执行以下命令查看集群的拓扑结构和状态： tiup cluster display 83 3.1.3 探索更多 如果你刚刚部署好一套 TiDB 本地测试集群，你可以继续： • 学习TiDB SQL 操作 • 迁移数据到 TiDB 如果你准备好在生产环境部署 TiDB，你可以继续： • 使用 TiUP 部署 TiDB 集群 • 使用 TiDB Operator 在 Kubernetes 功能还不太了解，希望快速试用体验，请参阅快速上手 HTAP。 要快速了解 TiDB 在 HTAP 场景下的体系架构与 HTAP 的适用场景，建议先观看下面的培训视频（时长 15 分钟）。 注意本视频只作为学习参考，如需了解详细的 HTAP 相关内容，请参阅下方的文档内容。 3.4.1 HTAP 适用场景 TiDB HTAP 可以满足企业海量数据的增产需求、降低运维的风险成本、与现有的大数据栈无缝缝合，从而实现