SelectDB案例 从 ClickHouse 到 Apache Doris
参数调优: max_XXXX_compaction_thread max_cumulative_compaction_num_singleton_deltas 优化 BE 提交逻辑:定期缓存 BE 列表,按批次随机提交到 BE 节点,细化负载均 衡粒度。 优化背景:在写入时发现某一个 BE 负载会远远高于其他的 BE,甚至出现 OOM。结合源 码发现:作业启动后会获取一次 BE 地址列表,从中随机选出一个 节点,除非作业异常报错,否则该节 点不会发生切换。 对于少量 Flink 作业大数据场景会导致选中的 BE 节点负载较高,因此我们尝试对 BE 提 交逻辑进行优化,设置每 1 小时缓存一次 BE 列表,每写入一个批次都随机从 BE 缓存列 表中获取一个进行提交,这样负载均衡的粒度就从 job 级别细化到每次提交的批次,使得 BE 间负载更加的均衡,这部分实现我们已经贡献到社区,欢迎大家一起使用并反馈。0 码力 | 12 页 | 1.55 MB | 1 年前3百度智能云 Apache Doris 文档
加。 如果在之后的使用过程中添加索引,如果表中已有数据,则需要重写所有数据,因此索引的创建时间取决于当前数据量。 内存表 内存表 当建表时指定了 属性。则 Doris 会尽量将该表的数据块缓存在存储引擎的 PageCache 中,已减少磁盘 IO。但这个属性不会保证数据块常驻在内存中,仅作为一种尽力而为的标识。 DROP-REPOSITORY DROP REPOSITORY DROP0 码力 | 203 页 | 1.75 MB | 1 年前3
共 2 条
- 1