SelectDB案例 从 ClickHouse 到 Apache Doris
61 通过以上数据导入的优化措施,使得整体导入链路更加稳定,每日离线导入时长下降了 75% ,数据版本累积情况也有所改善,其中 cumu compaction 的合并分数更是从 600+直 降到 100 左右,优化效果十分明显。 查询优化 目前我们的场景指标数据是以分区表的形式存储在 Doris 中, ES 保留一份全量的标签数 据。在我们的使用场景中,标签圈选的使用率很高,大约有 preview 版本中可用于功能评估和性能测试,相 信在这个场景使用后会有进一步的性能提升。 成本优化 在当前大环境下,降本提效成为了企业的热门话题,如何在保证服务质量的同时降低成本开 销,是我们一直在思考的问题。在我们的场景中,成本优化主要得益于 Doris 自身优秀的 能力,这里为大家分享两点: 1、冷热数据进行精细化管理。 利用 Doris TTL 机制,在 Doris 中只存储近一年的数据,更早的数据放到存储代价0 码力 | 12 页 | 1.55 MB | 1 年前3百度智能云 Apache Doris 文档
过 字段中的 来观察作业是否在运行。 正常情况下,运行中的作业, 会大约每 5 秒更新一次,表示已经读取的数据行数。但有时可能因为数据质量 问题,所有的数据行都被过滤了,导致 一直不增长,或者为 0。此时还可以查看 和 两个字段。前者表示这个参与这个导入任务的所有 BE 节点,后者表示尚未完成的 BE 节点。 5. 关于 TaskNumber 中的 TaskNumber0 码力 | 203 页 | 1.75 MB | 1 年前3
共 2 条
- 1