百度智能云 Apache Doris 文档
执行失败表示没有任何数据被成功导入,并返回如下: 其中 显示失败原因。后面的 url 可以用于查询错误的数据: 可以查看到具体错误行。 2. 超时时间 INSERT 操作的超时时间由 会话变量 控制。默认为5分钟。超时则作业会被取消。 3. Label 和原子性 INSERT 操作同样能够保证导入的原子性,可以参阅 导入事务和原子性 文档。 当需要使用 作为 insert 操作中的查询部分时,必须指定 2. 每个子任务最多读取的行数。必须大于等于200000。默认是200000。 3. 每个子任务最多读取的字节数。单位是字节,范围是 100MB 到 1GB。默认是 100MB。 这三个参数,用于控制一个子任务的执行时间和处理量。当任意一个达到阈值,则任务结束。 3. 采样窗口内,允许的最大错误行数。必须大于等于0。默认是 0,即不允许有错误行。 采样窗口为 。即如果在采样窗口内,错误行数大于 个副本: Keywords Keywords 最佳实践 最佳实践 1. 同一数据库下只能有一个正在执行的恢复操作。 2. 可以将仓库中备份的表恢复替换数据库中已有的同名表,但须保证两张表的表结构完全一致。表结构包括:表名、列、分 区、物化视图等等。 3. 当指定恢复表的部分分区时,系统会检查分区范围是否能够匹配。 4. 恢复操作的效率: 在集群规模相同的情况下,恢复操作的耗时基本等同于备份0 码力 | 203 页 | 1.75 MB | 1 年前3SelectDB案例 从 ClickHouse 到 Apache Doris
任务产出对应的数据,其产出时间不一致, 并且每个表只涉及部分指标或标签,不同数据查询对时效性要求也不同,因此架构 需要支持部分列更新。 性能高效:具备高效的写入能力,且在圈选、洞察、报表等场景可以实现秒级响应。 控制成本:在满足业务需求的前提下,最大程度地降低成本;支持冷热数据精细化 管理,支持标签灵活上下架。 数据导入方案 为了减轻 Doris 写入压力,我们考虑在数据写入 Doris 之前,尽量将数据生成宽表,再写 中存储命名为 a4,用户使用更具有业务含义 song_name 进行查询。在 查询 Doris 前,我们会在查询层将 SQL 改写成具体的列名 a4。这样名称的修改只 是修改其元数据,底层 Doris 的表结构可以保持不变。 为了实现标签灵活上下架,我们通过统计标签的使用情况来分析标签的价值,将低 价值的标签进入下架流程。下架指的是对元信息进行状态标注,在下架标签重新上 架之前,不会继续导入其数0 码力 | 12 页 | 1.55 MB | 1 年前3Doris的数据导入机制以及原子性保证
Contributor 100+,一线互 联网广泛使用 2018 07 01 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成,不依赖于外部存储系统 • 架构优雅,单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询,100台集群可达10w QPS •0 码力 | 33 页 | 21.95 MB | 1 年前3Apache Doris 在美团外卖数仓中的应用实践
制在秒级。 7日趋势分析,2~3秒。由于数据量较大,根据集群规模不同查询性能有所区别,但数据量 较大时,调动的集群资源较多,因此MPP的并发性能受限于集群的性能。一般原则是并发 较高的业务,需要严格控制查询时效(基本在毫秒级),对于并发不高的业务,允许进行 较大的查询,但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级,Doris的高可靠、高可用、高可扩展性也得 到进一步验证,服务稳定可靠。0 码力 | 8 页 | 429.42 KB | 1 年前3
共 4 条
- 1