阿里云 AnalyticDB for PostgreSQL - 打造更简单易用的Cloud SQL Data Warehouse
RAC和Greenplum数据仓库 ⚫ 有幸参与了Oracle RAC到 Greenplum再到Hadoop以及最终到 ODPS的架构演进工作。 ⚫ 2012年起,转至阿里巴巴大数据团队,负责Hbase/OTS业务支 撑,期间多次负责阿里大数据双11架构和稳定性工作 ⚫ 2018年,在阿里云数据库负责OLAP产品管理团队。 1. Greenplum发展史 @Alibaba 2. AnalyticDB MPP水平扩展架构,PB级数据查询秒级响应;向量化计算,及列存储智能索引,领先传统数据库引擎性能 3x; 新一代SQL优化器,实现复杂分析语句免调优 • 支持多模分析 通过PostGIS 插件支持 地理信息数据分析;MADlib 库内置100+ 机器学习算法库,实现数据智能探索;高性 能向量检索算法,支持视频/图像检索 以图搜图 AnalyticDB for PostgreSQL 产品架构 协调节点 协调节点 OSS 分布式云存储服务 SQL Client/BI Tools 协调节点(Master Node) • 接收请求,制定分布式执行计划 计算组(Compute Groups) • 全并行分析计算 • 数据双副本存储 • 定期自动备份 OSS • 数据并行加载 • 水平扩展:Share-Nothing 架构水平扩展,海量数据在线分析 • 行/列存储模型:行存储支持高并发在线分析,列存储支持全表数据高性能关联聚合0 码力 | 22 页 | 2.98 MB | 1 年前3实现PostgreSQL逻辑复制实战
Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 备1 消息队列 对数据的写操作 PostgreSQL 动态节点管理 … 核心库 查询库 对数据库的读操作 备2 备份 归档 运维监控 数据库总体架构 应用 逻辑复制 2016Postgres中国用户大会 Postgres ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 MQ-Prototype KAFKA-MQ-Solution Cluster0 码力 | 17 页 | 1.90 MB | 1 年前3PostgresChina 2018 张启程 为什么我们抛弃MongoDB和MySQL,选择PgSQL
2018年PostgreSQL中国技术大会 为什么我们抛弃MongoDB和 MySQL,选择PgSQL 张启程 qc@aochuang.cn 奥创软件研究院(上海)研发中心 2018年PostgreSQL中国技术大会 任何数据库都很好用 • 我不是一个专业的DBA ,对数据库的理解不够深入,也不 一定准确,在此抛砖引玉,只是结合我们团队业务场景来 分享下我们选择数据库的过程。 • • IM工具+SCRM系统(高并发、低延迟、稳定) • 大量客户需要私有化云服务器部署(云更新) • 需求变更频繁,不适合关系型数据库 2018年PostgreSQL中国技术大会 目前服务器架构 2018年PostgreSQL中国技术大会 MySQL应用史 • 最开始做的站群系统WEB端使用MySQL: • copy简单快速,批量复制,替换修改简单; • 每个网站一个库,单体数据量小,数据类型固定;0 码力 | 9 页 | 563.82 KB | 1 年前3
共 3 条
- 1