验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 迎大家多给我们提出建议。 数仓交互层引擎的应用现状 目前，互联网业务规模变得越来越大，不论是业务生产系统还是日志系统，基本上都是基于Hado op/Spark分布式大数据技术生态来构建数据仓库，然后对数据进行适当的分层、加工、管理。而 在数据应用交互层面，由于时效性的要 ：基于实时的大规模并行计算，对集群的要求较高。MPP引擎的核心是通过将数据分散，以实现 CPU、IO、内存资源的分布，来提升并行计算能力。在当前数据存储以磁盘为主的情况下，数据S can需要的较大的磁盘IO，以及并行导致的高CPU，仍然是资源的短板。因此，高频的大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU 细查询，查询时效基本都可以控 制在秒级。 7日趋势分析，2~3秒。由于数据量较大，根据集群规模不同查询性能有所区别，但数据量 较大时，调动的集群资源较多，因此MPP的并发性能受限于集群的性能。一般原则是并发 较高的业务，需要严格控制查询时效（基本在毫秒级），对于并发不高的业务，允许进行 较大的查询，但也要考虑集群的承受能力。 通过一年来的应用以及Doris的不断改进升级，Doris的高可靠、高可用、高可扩展性也得

杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫 秒延迟 • 数据、元数据高可用，线上稳定服务6年

更擅长处理宽表场景，无区别将所有数据导入大宽表生成天的分区将造成存储资源 的浪费，维护成本也将随之升高。  应用层：ClickHouse 采用的是计算和存储节点强耦合的架构，架构复杂，组件依赖 严重，牵一发而动全身，容易出现集群稳定性问题，对于我们来说，同时维护 ClickHouse 和 Elasticsearch 两套引擎的连接与查询，成本和难度都比较高。 除此之外，ClickHouse 由国外开源，交流具有一定的语言学习成本，遇到问题无法准确反 统一管理， 4 这使得数据管理和使用的难度都变高。  Dataset 与物理位置绑定，应用层无法进行透明优化，如果 Doris 引擎出现负载较 高的情况，无法通过降低用户查询避免集群负载过高报错的问题。 数据架构 3.0 针对指标和标签定义口径不统一，数据使用和管理难度较高的问题，我们继续对架构进行升 级。数据架构 3.0 主要的变化是引入了专门的语义层，语义层的主要作用是将技术语言转 架构优势：  可以形成统一视图，对于核心指标和标签的定义进行统一查看及管理。  应用层与物理引擎完成解耦，可进一步对更加灵活易用的架构进行探索：如何对相 关指标和标签进行加速，如何在时效性和集群的稳定性之间平衡等。 存在的问题： 因为当前架构是对单个标签和指标进行了定义，因此如何在查询计算时自动生成一个准确有 效的 SQL 语句是非常有难度的。如果你有相关的经验，期待有机会可以一起探索交流。

目前我们支持以下参数： 1. 期望的并发度。一个例行导入作业会被分成多个子任务执行。这个参数指定一个作业最多有多少任务可以同时执行。 必须大于0。默认为3。 这个并发度并不是实际的并发度，实际的并发度，会通过集群的节点数、负载情况，以及数据源的情况综合考虑。 2. 这三个参数分别表示： 1. 每个子任务最大执行时间，单位是秒。范围为 5 到 60。默认为10。 2. 每个子任务最多读取的行数。必须 SQL手册 18 2. 为 example_db 的 example_tbl 创建一个名为 test1 的 Kafka 例行导入任务。导入任务为严格模式。 3. 通过 SSL 认证方式，从 Kafka 集群导入数据。同时设置 client.id 参数。导入任务为非严格模式，时区为 Africa/Abidjan CREATE CREATE ROUTINE ROUTINE LOAD LOAD example_db 可以将仓库中备份的表恢复替换数据库中已有的同名表，但须保证两张表的表结构完全一致。表结构包括：表名、列、分 区、物化视图等等。 3. 当指定恢复表的部分分区时，系统会检查分区范围是否能够匹配。 4. 恢复操作的效率： 在集群规模相同的情况下，恢复操作的耗时基本等同于备份操作的耗时。如果想加速恢复操作，可以先通过设置 参数，仅恢复一个副本，之后在通过调整副本数 ALTER TABLE PROPERTY，将副本补齐。