Greenplum 编译安装和调试 本文先介绍如何从源代码编译安装Greenplum、初始化Greenplum集群。然后介绍SQL在 Greenplum中的典型执行路径，最后介绍一些调试技巧。 源代码使用 Greenplum 开源社区最新源代码 6X_STABLE 分支： https://github.com/greenplum-db/gpdb​，内核代码基于 PostgreSQL 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 包 $ wget https://bootstrap.pypa.io/get-pip.py $ sudo python get-pip.py $ sudo pip install psutil lockfile paramiko setuptools epydoc // 需要安装 openssl，否则无法编译 $ git clone https​:​//github.com/greenplum-db/gpdb Greenplum Database 编译和运行依赖于各种系统库和Python库。需要先安装这些依赖： $ sudo ​yum groupinstall 'Development Tools' # GCC, libtools etc $ sudo yum install curl​-​devel

202 202 202 203 203 203 203 203 204 205 206 访问 Hive 访问 HBase 使⽤ 使⽤ pg_dump 迁移数据 迁移数据 安装 greenplum-db-clients 使⽤ pg_dump 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs 外部表迁移数据 外部表迁移数据 1. 在原 greenplum 集群中创建 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 20/206 ODBC⽅式连接 ⽅式连接 Linux操作系统：CentOS 6.5 64位 1. 安装 postgresql odbc驱动 # yum install postgresql-odbc.x86_64 -y 2. 编辑/etc/odbcinst.ini⽂件，配置odbc驱动 Description so Setup64 = /usr/lib64/libodbcpsqlS.so FileUsage = 1 3. 测试ODBC驱动是否安装成功 # odbcinst -q -d [PostgreSQL] 如果出现以上输出，代表在这台机器上已成功安装了PostgreSQL的ODBC驱动。 4. 编辑/etc/odbc.ini⽂件配置ODBC连接 快速上⼿ Greenplum数据仓库 UDW

工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您在阅读和参考本书的过程中发现有任何不妥之处，或者有任何的建议和意见， 欢迎联系编者，本书主要针对 GP 数据库的爱好者进行编写，包括产品的安装和使用说 明，以及最佳实践等内容。本书的发布更新情况与编者的时间有关，不做承诺。 编写： 陈淼 电邮： miaochen@mail.ustc.edu.cn Greenplum Database .................................................................................... - 263 - 第十二章：安装部署与初始化 ............................................................................................ ......................................................................................... - 269 - 安装操作系统 ..............................................................................................

务的一致性，Greenplum 像 Postgresql 一样满足关系型数据库的包括 ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 实例层级。安装过 Greenplum 的同学应该都看到每个实例都有自己 的 Postgresql 目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 ·Greenplum 软件本身不支持 RDMA（Remote Direct Memory Access）协议，所以如果基于 Infiniband 交换机对 Greenplum 集 群组网，必须在服务器上安装硬件厂商提供的网络驱动，并通过 IPoIB(InternetProtocol over InfiniBand) 协议进行转换，之前遇到某 客户因为驱动和服务器硬件兼容问题，压力一大，服务器自就会自 机；无论是刀片还是 PC 在 国内外都有大量的案例；Greenplum 不挑系统：无论是 RedHat、 CentOS 还是 SuSe，Greenplum 都可以畅快的运行，你甚至可以在 自己的 MAC 笔记本上直接安装、玩耍；但 Greenplum 确实依赖于 底层的硬件：只有合理的硬件搭配、准确的规划实施、定期的运行 维护加上完善的软硬件监控，才是真正保证企业级数据仓库成功实 施关键。 Big Date2.indd

+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管 析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum 支持适用于数据挖掘和数据科学工作的最 全面、最先进的分析程序包和扩展。Greenplum 还针对最受欢迎的 Python 和 R 语言算法库提供简单易用的安装程 序，包括 Tensorflow、NumPy、SciPy、XGBoost、BeautifulSoup、lxml、Keras 和 PyMC3 等 Python 语言算法 库和程序包和 BH、DB com/src-openeuler/gpdb Greenplum 参与欧拉开源社区的贡献内容 Greenplum 中文社区通过 RPM 软件包方式进入欧拉开源社区软件仓库，yum install 即可安装 Greenplum。提要易 用性。同时 Greenplum ORCA 查询优化器的 ARM 平台兼容，平衡了 X86 和 ARM 平台的功能完整性。期待 Greenplum 中文社区能够在 openEuler

微信号：laohouzi999 1.安装时候的问题排查 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1)关闭防火墙 service iptables stop service iptables status chkconfig --list iptables chkconfig --level 0123456 iptables off 2)临时目录/tmp（安装日志） 3)服务器日志（PostgreSQL host all all 10.10.56.17/32 md5 host 参数表示安装PostgreSQL的主机 all 第一个all 表示该主机上的所有数据库实例 all 第二个all 表示所有用户 10.10.56.17/32 表示需要连接到主机的IP地址，32表示IPV4

都可以实现。Greenplum 5 支持适用于数据挖掘和数据科学工作的最全面、 最先进的分析程序包和扩展。 Greenplum 5 还针对最受欢迎的 Python 和 R 语言算法库提供简单易用的安装程序。 • Greenplum 5 中支持的 Python 语言算法库和程序包有：Tensorflow、NumPy、SciPy、scikit-learn、Pandas、 NLTK、Pattern 个用于与其他数据库（无论在同一数据库主机还是远程主机上）建立连接的新模块。Pivotal Greenplum 支持数据库用户 使用 dblink 在其他数据库中执行简短的临时查询。最后，Greenplum 5 将已安装的 Python 版本升级为 2.7。PL/Python 和 Python 管理实用程序现在均以版本 2.7 为基础。 总结 Greenplum 5 是 Pivotal 推出的新一代数据平台，在

分布列的操作类 GPExpand简介与具体用法 • GPExpand是Greenplum的扩容工具，可以为集群增加新的节 点来支持更大容量的存储和更高的计算能力。 • 随着Greenplum一起安装发布，在$GPHOME/bin下面，和其 他辅助工具，如gpstart,gpstop,gpactivatestandby一样，是一个 用python写的命令行脚本。 GPExpand简介与具体用法

Greenplum运维体系 四 Greenplum扩展规划 六 22 Greenplum运维体系 环境创建与部署 • 部署流程 Ø 规划部署方案 Ø 准备硬件资源 Ø 修改系统参数 Ø 安装 Greenplum 软件 / postgresql软件 Ø 初始化实例 Ø 修改实例参数文件 Ø 初始化业务所需库表环境、用户环境 Ø 加载数据 Ø 业务程序访问 23 Greenplum运维体系

数据库：ANSI SQL 2008 标准，OLAP，JDBC/ODBC Ÿ 支持ACID、分布式事务 Ÿ 分布式数据库：线性扩展，支持上百物理节点 Ÿ 企业级数据库：全球大客户超过 1000+ 安装集群 Ÿ 百万行源代码，超过10年的全球研发投入 Ÿ 开源数据库(greenplum.org)，良性生态系统 5 Pivotal Confidential–Inter nal Use Only