Apache Kyuubi 1.7.1-rc0 Documentation

《Apache Kyuubi 1.7.1-rc0 Documentation》主要介绍了Apache Kyuubi的配置、安全性、监控、高可用性、多租户支持以及发布指南等内容。以下是对文档的简要总结： --- ### 1. **配置方式** Kyuubi支持多种配置方式： - **通过`hive-site.xml`**：将配置文件放置在`$KYUUBI_HOME/conf`目录下，Kyuubi会将其加载到classpath中，配置优先级低于`kyuubi-defaults.conf`。 - **通过`kyuubi-defaults.conf`**：Hadoop Credentials Manager会在初始化时加载这些配置。 - **通过JDBC连接URL**：Hive配置指定在JDBC URL中会被忽略。 --- ### 2. **安全性** Kyuubi支持多租户设计，确保数据和资源的安全： - **控制平面**：Kyuubi服务器提供集中式认证层，支持LDAP和Kerberos等协议。 - **数据平面**：Kyuubi引擎使用客户端身份进行实例化，资源获取和数据访问均在引擎内部完成。 - **细粒度安全**：支持行/列级别的权限管理。 --- ### 3. **监控** Kyuubi提供日志和指标等监控功能： - **日志系统**：使用Apache Log4j2（v1.5.0及以上）或Log4j（v1.4.1及以下），主要包括服务器日志、引擎日志和操作日志。 - **外部系统集成**：如Apache Zookeeper用于服务发现，其日志配置不在本文档中详细说明。 --- ### 4. **高可用性** Kyuubi设计了高可用性（HA）特性： - **负载均衡**：避免单点故障，实现零宕机时间。 - **故障检测**：通过日志和指标监控服务器和引擎的状态。 --- ### 5. **多租户支持** Kyuubi实现了端到端的多租户支持： - **控制平面**：服务器提供集中式认证。 - **数据平面**：引擎使用客户端身份进行资源和数据访问。 --- ### 6. **与HiveServer2和Spark Thrift Server的对比** - **HiveServer2**：支持Hive查询，侧重于多客户端并发和认证。 - **Spark Thrift Server**：提供Spark SQL能力，与HiveServer2兼容。 - **Kyuubi优势**：在多租户支持、服务可用性、并发能力和数据安全等方面进行了增强。 --- ### 7. **发布指南** Kyuubi的发布流程包括以下步骤： 1. 决定发布版本。 2. 准备发布材料。 3. 切分功能分支。 4. 构建候选版本。 5. 对候选版本进行投票表决。 6. 如有必要，修复问题并重新构建。 7. 最终发布版本。 8. 发布公告并更新文档。 9. 移除过时版本的仓库目录。 10. 发布Docker镜像。 --- ### 8. **附录** - **术语解释**：Kyuubi是一个基于Apache Spark的统一多租户JDBC接口，支持多种计算框架（如Flink、Doris等），提供分布式SQL查询能力。 - **典型应用场景**：如通过Kyuubi、Spark和Iceberg构建数据湖仓库，支持ETL和OLAP等操作。 --- ### 总结 Apache Kyuubi 1.7.1是基于Spark的统一多租户JDBC接口，支持高可用性、细粒度安全、多协议访问（如Hive Thrift、RESTful APIs、MySQL协议）等特性。其设计目标是为大规模数据处理和分析提供简化、安全的访问方式，同时兼容HiveServer2和Spark Thrift Server，适用于企业级应用场景。