一般建议一个查询计划扫描的数据量在 3-5 GB内。 内存限制 内存限制 通常一个 Export 作业的查询计划只有 两部分，不涉及需要太多内存的计算逻辑。所以通常 2GB 的默认内存限制可 以满足需求。 但在某些场景下，比如一个查询计划，在同一个 BE 上需要扫描的 Tablet 过多，或者 Tablet 的数据版本过多时，可能会导致内 存不足。此时需要通过这个 参数设置更大的内存，比如 中的 BITMAP 列。 返回值：BITMAP 类型 Example Example 因为 BITMAP 类型本身为二进制类型，无法在 MySQL 客户端展示。所以这里使用 对结果进行可视化展 示。 Keywords Keywords BITMAP_HASH Description Description BITMAP to_bitmap BITMAP to_bitmap((int

和以音乐为核心的社交娱乐两大服务。腾讯音乐娱乐在中国有着广泛的用户基础，拥有目前 国内市场知名的四大移动音乐产品：QQ 音乐、酷狗音乐、酷我音乐和全民 K 歌，总月活用 户数超过 8 亿。 业务需求 腾讯音乐娱乐拥有海量的内容曲库，包括录制音乐、现场音乐、音频和视频等多种形式。通 过技术和数据的赋能，腾讯音乐娱乐持续创新产品，为用户带来更好的产品体验，提高用户 参与度，也为音乐人和合作伙伴在 机会可以一起探索交流。 优化经验 从上文已知，为更好地实现业务需求，数据架构演进到 4.0 版本，其中 Apache Doris 作为 分析加速场景的解决方案在整个系统中发挥着重要的作用。接下来将从场景需求、数据导入、 查询优化以及成本优化四个方面出发，分享基于 Doris 的读写优化经验，希望给读者带来 一些参考。 场景需求 6 目前我们有 800+ 标签， 1300+ 并且每个表只涉及部分指标或标签，不同数据查询对时效性要求也不同，因此架构 需要支持部分列更新。  性能高效：具备高效的写入能力，且在圈选、洞察、报表等场景可以实现秒级响应。  控制成本：在满足业务需求的前提下，最大程度地降低成本；支持冷热数据精细化 管理，支持标签灵活上下架。 数据导入方案 为了减轻 Doris 写入压力，我们考虑在数据写入 Doris 之前，尽量将数据生成宽表，再写

每日回溯历史数据量大，10亿+的历史数据回溯。 数据计算耗时3小时+，存储1TB+，消耗大量计算存储资源，同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下，实际工作中对历史的回溯80%集中在近1个月左 右，但为了应对所有需求场景，业务要求计算近半年以上的历史。 不支持明细数据的查询。 解决方案：引入MPP引擎，数据现用现算 既然变化维的历史数据预计算成本巨大，最好的办法就是现用现算，但现用现算需要强大的并行 计算能 plum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等，但缺乏实践案例的介绍，所以我们也没有太多的经验可以借鉴。 于是，我们就结合自身业务的需求，从引擎建设成本出发，并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑，作为选型依据，最终我们平台部门选择了2018年刚进入Apache社 区的Doris。 Doris简介及特点 Do 避免分钟级的生产波动影响，业务上10、15分钟准实时数据可以满足分析需要。 实时数据需要与离线数据进行日环比与周同比的比对。 订单业务需要事件时间，体验业务需要生产时间，业务对齐逻辑复杂。 不同业务线需求差异大，指标需要良好扩展性。 由于业务上的复杂性，实时流计算中，需要考虑诸多业务口径的对齐，业务ER模型在合流处理中 开发成本较高，资源占用较大，通过设计基于Doris的准实时生产数仓，可以灵活地实现业务微批

Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对