2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS

它能做什么、它的优点是什么、有哪些公司使⽤它等等。 之后我们会快速地了解本书各个章节的具体编排， 并完成⼀些学习 Redis 的前期准备⼯作， ⽐如安装 Redis 服 务器等等。 在⼀切准备就绪之后， 我们就会开始学习如何执⾏ Redis 命令， 以及如何通过配置选项对 Redis 服 务器进⾏配置。 在本章的最后， 我们还会看到获取本书示例代码的⽅法， 并知悉本书使⽤的 Redis 版本以及本书配套的读者服务 ⽹站。 1.1 1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括微博、Twitter、GitHub、Stack Overflow、知乎等国内外公司都⼤量地使⽤了 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 ⻛驰电掣般的执⾏速度 Redis 是⼀款内存数据库， 它将所有数据都储存在内存⾥⾯。 因为计算机访问内存的速度要远远⾼于访问 硬盘的速度， 因此与基于硬盘设计的传统数据库相⽐， Redis

typeAliases 类型命名 typeHandlers 类型处理器 objectFactory 对象工厂 plugins 插件 environments 环境 environment 环境变量 transactionManager 事务管理器 dataSource 数据源 databaseIdProvider 数据库厂商标识 mappers 映射器 3.2 properties 属性 1) 可外部配置且可动态替换的，既可以在典型的 3) MyBatis 已经取好的别名 3.5 typeHandlers 类型处理器 1) 无论是 MyBatis 在预处理语句（PreparedStatement）中设置一个参数时，还是从结果 集中取出一个值时， 都会用类型处理器将获取的值以合适的方式转换成 Java 类型 2) MyBatis 中提供的类型处理器: 3) 日期和时间的处理，JDK1.8 以前一直是个头疼的问题。我们通常使用 已经实现全部的 JSR310 规范了 4) 日期时间处理上，我们可以使用 MyBatis 基于 JSR310（Date and Time API）编写的各 种日期时间类型处理器。 5) MyBatis3.4 以前的版本需要我们手动注册这些处理器，以后的版本都是自动注册的,如 需注册，需要下载 mybatistypehandlers-jsr310,并通过如下方式注册 JAVAEE 课程系列 ——————

、非结构化 • 强大内核: MPP、优化器、多态存储、灵活分区、高速加载、PG内核 • 强大的灵活性、可扩展：PL/X、Extension、PXF、外部表机制 • 完善的标准支持：SQL、JDBC、ODBC • 集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 更高的预测精准度 • 适用更多数据，而不是抽样 • 顶级 ASF 开源项目 • 社区驱动开发模式 MADlib 特性 2017.thegiac.com 客户端 数据库服务器器 Master Segment 1 Segment 2 Segment n … SQL 存储过程 结果集 String 聚集 psql … 执⾏行行流程 API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 内循环函数 (实现机器器学习逻辑) Python SQL C++ MADlib 架构 2017.thegiac.com • 是一种由搜索引擎根据网页之间相互

，具备湖仓⼀体化的能⼒， 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎，组件少⽽精（All in One），提供3种计算引擎、1种 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 ⽣态完善，支持主流的开发语⾔和数据科学⼯具，支持多模数据处理（结构化、 半结构化以及非结构化），提供标准 物理数仓整合到云原⽣数据计算平台，根据数据授 权动态创建虚拟数仓，打破数据孤岛，解决数据多 副本问题，帮助企业降低数仓管理复杂度，以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息，并⽣成更⾼ 效的查询计划，达奇优化器支持聚集下推，预计算，Block Skipping等⾼级特性，全面满⾜各种复杂的分析查询需求。 @2024 OpenPie. All rights

很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 群的访问，往往非常困难，会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迭代迅速，相关人员需保持积极的知识更新意识。相关人才市场较小，人才匮乏。高昂的学习成本造 成用户使用过程中性能差、故障率高、故障修复时间长等问题。 5 云时代的数据处理要求 随着数据量和计算能力 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下： 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节

参考文档 参考文档 参考文档 简介 简介 入门 入门 XML配置 XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 参考文档 参考文档 参考文档 简介 简介 入门 入门 XML配置 XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 入门 入门 安装 安装 要使用 MyBatis， 只需将 mybatis-x.x.x service XML 配置文件（configuration XML）中包含了对 MyBatis 系统的核心设置，包含获取数据库连接实例的数据源（DataSource）和 决定事务范围和控制方式的事务管理器（TransactionManager）。XML 配置文件的详细内容后面再探讨，这里先给出一个简单的示 例：

减少因为密钥泄露而造成的损失 • 多级密钥 • 密钥加密密钥 • 用户无感知 • 自动生成次级密钥 • 密钥自管理 • 分区加密 技术挑战（2） • 和数据库存储结合 • 不影响数据库内核（执行器，优化器） • 不修改/添加元数据表格式 • 业务拟合 • 不影响原有用户的查询\业务 • 不影响外围组件（ETL） PART 03 透明加密的实现 密钥管理 • 主密钥由用户提供 • 保存于用户信任域中 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 租户密钥读取 持久化存储区域 主密钥 用户信任域 密钥储存区 存储 解密 定时器 次级密钥读取 对应存储区域 内存 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块，方便后续扩展 • 无历史包袱 加入我们！ • 官 网： https://www

MySQL作为网站数据库。 1.2 调优原则 性能调优从大的方面来说，在系统设计之初，需要考虑硬件的选择，操作系统的选 择，基础软件的选择；从小的方面来说，包括每个子系统的设计，算法选择，如何使 用编译器的选项，如何发挥硬件最大的性能等等。 在性能优化时，我们必须遵循一定的原则，否则，有可能得不到正确的调优结果。主 要有以下几个方面： ● 对性能进行分析时，要多方面分析系统的资源瓶颈所在，因为系统某一方面性能 统某方面的资源瓶颈情况更加严重。 MySQL 8.0.17 调优指南（openEuler 20.09） 1 调优概述 2020-10-15 1 ● 必须保证调优后的程序运行正确。 ● 调优过程是迭代渐进的过程，每一次调优的结果都要反馈到后续的代码开发中 去。 ● 性能调优不能以牺牲代码的可读性和可维护性为代价。 1.3 调优思路 性能优化首先要较为精准的定位问题，分析系统性能瓶颈，然后根据其性能指标以及 规格（带宽、最大连接数、新建连接数等）限制，导致压测结果达不到预期。 2. 接着看关键指标是否满足要求，如果不满足，需要确定是哪个地方有问题，一般 情况下，服务器端问题可能性比较大，也有可能是客户端问题（这种情况比较 小）。 3. 对于服务器端问题，需要定位的是硬件相关指标，例如CPU，Memory，Disk I/O，Network I/O，如果是某个硬件指标有问题，需要深入的进行分析。 4.