Doris的数据导入机制以及原子性保证
流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) FE (Follower,JAVA) FE (Obsever,JAVA) BE (C++) BE (C++) BE (C++) Participant Prepare Phase Commit Phase Prepare Txn • 创建事务 • 规划导入执行计划 • 分发子任务 03 Doris 中的导入 FE Leader Analyzer FE Follower 数据版本 N 事务状态 PREPARE 事务管理 1.Begin Txn Phase 1 Execute Txn • 接受查询计划 • TableSink和 tablet writer • Extract & Transform & Load • 汇报导入结果 03 Doris 中的导入 BE 未生效数据 生效数据 FE Leader V1 V2 Vn tid-1 Analyzer … BE BE tid-n FE Follower 2. Load 数据 数据版本 N 事务状态 PREPARE 事务管理0 码力 | 33 页 | 21.95 MB | 1 年前3百度智能云 Apache Doris 文档
接口,不仅能够支持本地数据的传输,也能够支持内存数据、管道数据等向 HTTP 端口传输数据。 公有云用户必须使用 Compute Node(BE)的 HTTP 协议端口,默认为 8040。 私有化部署用户可以使用 Leader Node(FE)的 HTTP 协议端口,默认为 8030。但须保证客户端所在机器网络能够联通 Compute Node 所在机器。 本文档主要通过 cURL 命令来介绍 Stream Load 修改用户 jack 最大连接数为1000 Keywords Keywords 最佳实践 最佳实践 1. 最大连接数。 最大连接数只该用户针对一个 Leader Node 的节点的最大连接数限制。默认是100。如果集群有 3 个 Leader Node,则理论 上最大连接数为 300。 Doris 集群还有总连接数上限。默认为 1024。即所有用户的连接数量不得超过这个上线。 如果是高并0 码力 | 203 页 | 1.75 MB | 1 年前3
共 2 条
- 1