Doris的数据导入机制以及原子性保证
基于MPP(大规模并行处理)架构的分析型数据库 01 Doris简介 • 性能卓越,PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研,2017年开源,2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”,同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 精简架构、统一用户客户端, 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017 • 贡献给Apache社区,更名 为Apache Doris • 截止目前,社区2000+star, Contributor 100+,一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 org/master/zh-CN/ • GitHub:https://github.com/apache/incubator-doris 欢迎关注Doris微信公众号 更多技术趋势、实践案例、社区活动 欢迎登陆百度智能云官网,体验企业级托管版本Palo 全新UI支持,更有新用户0元三个月优惠活动 Thank You0 码力 | 33 页 | 21.95 MB | 1 年前3SelectDB案例 从 ClickHouse 到 Apache Doris
ClickHouse 和 Elasticsearch 两套引擎的连接与查询,成本和难度都比较高。 除此之外,ClickHouse 由国外开源,交流具有一定的语言学习成本,遇到问题无法准确反 馈、无法快速获得解决,与社区沟通上的阻塞也是促进我们进行架构升级的因素之一。 数据架构 2.0 3 基于架构 1.0 存在的问题和 ClickHouse 的局限性,我们尝试对架构进行优化升级,将分析 引擎 中的数据,还可以通过 Flink Connector 实时/批次同步数 据源(MySQL,Oracle,PostgreSQL 等)到 Doris。**** 社区目前 Apache Doris 社区活跃、技术交流更多,SelectDB 针对社区有专职的技 术支持团队,在使用过程中遇到问题均能快速得到响应解决。 同时我们也利用 Doris 的特性,解决了架构 1.0 中较为突出的问题。 数仓层:Apache 另外两种数据模型适用的场景,这里也进行简单的介绍: Unique 模型适用于需要保证 Key 唯一性场景,同一个主键 ID 多次导入之后,会 以 append 的方式进行行级数据更新,仅保留最后一次导入的数据。在与社区进行 沟通后,确定后续版本 Unique 模型也将支持部分列更新。 Duplicate 模型区别于 Aggregate 和 Unique 模型,数据完全按照导入的明细数据 进行存储,不会有0 码力 | 12 页 | 1.55 MB | 1 年前3
共 2 条
- 1