SelectDB案例 从 ClickHouse 到 Apache Doris
目前 更擅长处理宽表场景,无区别将所有数据导入大宽表生成天的分区将造成存储资源 的浪费,维护成本也将随之升高。 应用层:ClickHouse 采用的是计算和存储节点强耦合的架构,架构复杂,组件依赖 严重,牵一发而动全身,容易出现集群稳定性问题,对于我们来说,同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询,成本和难度都比较高。 除此之外,ClickHouse 的局限性,我们尝试对架构进行优化升级,将分析 引擎 ClickHouse 切换为 Doris,Doris 具有以下的优势: Apache Doris 的优势: Doris 架构极简易用,部署只需两个进程,不依赖其他系统,运维简单;兼容 MySQL 协议,并且使用标准 SQL。 支持丰富的数据模型,可满足多种数据更新方式,支持部分列更新。 支持对 Hive、Iceberg、Hudi 等数据湖和 中,以降低存储成本; 标签上下线,将低价值标签和指标下线处理后,后续数据不再写入,减少写入和存 储代价。 2、降低数据链路成本。 Doris 架构非常简单,只有 FE 和 BE 两类进程,不依赖其他组件,并通过一致性协议来保 证服务的高可用和数据的高可靠,自动故障修复,运维起来比较容易; 高度兼容 MySQL 语法,支持标准 SQL,极大降低开发人员接入使用成本; 支持多种联邦查询方式,支持对0 码力 | 12 页 | 1.55 MB | 1 年前3Doris的数据导入机制以及原子性保证
联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 FE (Obsever,JAVA) BE (C++) BE (C++) BE (C++) BE (C++) 整体架构简单,产品易用 • 高度兼容MySQL协议 • 主从架构,不依赖任何其他组件 • FE负责解析/生成/调度查询计划 • BE负责执行查询计划、数据存储 • 任何节点都可线性扩展 01 Doris 简介 导入的问题 02 典型应用场景——OLAP分析0 码力 | 33 页 | 21.95 MB | 1 年前3百度智能云 Apache Doris 文档
Description Description 该语句用于创建仓库。仓库用于属于备份或恢复。仅 admin 用户可以创建仓库。 如果指定 ,则该仓库只读,即只能用户恢复操作,不可用户备份操作。 创建操作依赖 Broker 服务进程。而之后的 里需要填写用于 Broker 访问远端仓库的信息。 "in_memory" = "true" "in_memory" = "true" DROP DROP Description 该语句用于查看当前已创建的仓库。 返回结果说明: :每个仓库唯一ID。 :仓库名称。 :第一次创建该仓库的时间。 :是否为只读仓库。 :仓库中用于备份数据的根目录。 :依赖的 Broker 服务名称。 TxnStatus TxnStatus JobId JobId CreateTime CreateTime ExecuteStartTime ExecuteStartTime0 码力 | 203 页 | 1.75 MB | 1 年前3
共 3 条
- 1