reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 赋能⼯业软件创新与实践 吴疆 拓数派产品社区总监 CONTENTS @2024 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构，并有成员获有 奥赛奖牌。 郭罡（Paul Guo） 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜（Brian Lu） 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved.

国家/地区的商标或注册商标。其他名称可能为其各自所有者的商标，特此声明。 本产品可能包括 Veritas 必须向第三方支付许可费的第三方软件（以下称“第三方程序”）。 部分第三方程序会根据开源或免费软件许可证提供。软件随附的授权许可协议不会改变这些 开源或免费软件许可证赋予您的任何权利或义务。请参考此 Veritas 产品随附的或以下链接提 供的第三方法律声明文档： https://www.veritas Veritas 作为内部服务还是托管服务提供，根据 FAR 12.212 中的定义，授权许可的软 件和文档被视为“商业计算机软件”，受 FAR Section 52.227-19“Commercial Computer Software - Restricted Rights”（商业计算机软件受限权利）和 DFARS 227.7202 等 “Commercial Computer Software and and Commercial Computer Software Documentation” （商业计算机软件和商业计算机软件文档）中的适用规定，以及所有后续法规中规定的权利 的制约。美国政府仅可根据本协议的条款对授权许可的软件和文档进行使用、修改、发布复 制、执行、显示或披露。 Veritas Technologies LLC 2625 Augustine Drive Santa Clara, CA

............................................................... 13 openEuler 20.03 LTS SP1 & SP2 软件仓库中引入 Greenplum 6.17.0 版本 ............................................................. 13 完全兼容欧拉开源操作系统的 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件，践行 “Run Everywhere”原则，用全新的HTAP核心设计满足实时处理业务需求。在此也为所有为Greenplum on openEuler 成功测试运行所做努力贡献的人员表示感谢！ 摘要 Greenplum 不受限于基础架构，这意味着它是一种可完全移植的分析数据库软件解决方案，可部署在不同操作系统、 不同芯片的环境 、稳定、易用的操作系统。通过为应用 提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 openEuler 作为一个操作系统发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的

1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司，在数据处理和 BI/DW领域，提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza Oracle 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统（DBMS）的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”：商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum • “黑盒子” • “大铁箱” • 大磁盘 过去Google™ 曾经用来实现信息搜索功能的技术， 现在被Greenplum用于数据仓库

的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 实现的是基于文件的分布式数据存储和 公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 个 Postgresql 实例的高效协同和并行计算，Interconnect 承载了并行 查询计划生产和 Dispatch 分发（QD）、协调节点上 QE 执行器的并

构在美国和其他国家/地区的商标或注册商标。其他名称可能为其各自所有者的商标，特此声 明。 本产品可能包括 Veritas 必须向第三方支付许可费的第三方软件（以下称“第三方程序”）。 部分第三方程序会根据开源或免费软件许可证提供。软件随附的授权许可协议不会改变这些 开源或免费软件许可证赋予您的任何权利或义务。请参考此 Veritas 产品随附的或以下链接提 供的第三方法律声明文档： https://www.veritas Veritas 作为内部服务还是托管服务提供，根据 FAR 12.212 中的定义，授权许可的软 件和文档被视为“商业计算机软件”，受 FAR Section 52.227-19“Commercial Computer Software - Restricted Rights”（商业计算机软件受限权利）和 DFARS 227.7202 等 “Commercial Computer Software and and Commercial Computer Software Documentation” （商业计算机软件和商业计算机软件文档）中的适用规定，以及所有后续法规中规定的权利 的制约。美国政府仅可根据本协议的条款对授权许可的软件和文档进行使用、修改、发布复 制、执行、显示或披露。 Veritas Technologies LLC 2625 Augustine Drive Santa Clara, CA

....................................................................................... 5 2.4 上传软件包 ................................................................................................. ...................................................................................... 16 3.1 上传软件包 ................................................................................................. ....................................................................................... 27 3.13 软件部署 ................................................................................................

......................................................................................... - 271 - 软件依赖 ................................................................................................ ................................................................................... - 279 - 安装 GP 软件 .................................................................................................. ...................................................................................... - 280 - GP 软件目录结构 ..............................................................................................

chinaunix.net/uid-20639775-id-3254611.html 4.5.4 Heardbeat 的安装 Master 和 backup 服务器都需要安装 heardheat 软件。下面两种安装方式任 选其一。  Rpm 包的安装方式 yum -y install heartbeat-*  源代码编译安装方式 wget http://www.ultramonkey 不监控资源的可用性以及切换后会将资源停止，所以需要加强 对资源和 heartbeat 的监控，推荐采用 nagios 软件来进行可用性的监控。 5 Heartbeat+DRBD+mysql 高可用方案 5.1 方案简介 本方案采用 Heartbeat 双机热备软件来保证数据库的高稳定性和连续性，数据的一 致性由 DRBD 这个工具来保证。默认情况下只有一台 mysql 在工作，当主 1.1.108 Centos 5.5 64bit /dev/sdb1 2.1.3 5.5.2 DRBD 的安装 官网的说法，如果系统内核（linux）版本低于 2.6.33，在安装软件之前需要加 载 DRBD 模块，我的内核版本是 2.6.18 的，安装后会自动加载 drbd 模块。安 装命令如下： yum install -y drbd83 kmod-drbd83 安装后使用

灵活度高，非常适合对关系数据模型要求不高的软件开发，例如互联网软件、企业运营类软 件等，因为这类软件需求变化频繁，一但需求变化要求成果输出迅速。但是灵活的前提是 mybatis 无法做到数据库无关性，如果需要实现支持多种数据库的软件则需要自定义多套 sql 映射文件，工作量大。 Hibernate 对象/关系映射能力强，数据库无关性好，对于关系模型要求高的软件（例如 需求固定的定制化软件）如果用 hibernate 的学习门槛高，要精通门槛更高，而且怎么设计 O/R 映射，在性能和对象模型之间如何权 衡，以及怎样用好 Hibernate 需要具有很强的经验和能力才行。 总之，按照用户的需求在有限的资源环境下只要能做出维护性、扩展性良好的软件架构 都是好架构，所以框架只有适合才是最好。 2 Dao 开发方法 使用 Mybatis 开发 Dao，通常有两个方法，即原始 Dao 开发方法和 Mapper 接口开发方 法。 2.1 需求