Apache Kyuubi 1.7.3-rc0 Documentation

《Apache Kyuubi 1.7.3-rc0 Documentation》主要介绍了Apache Kyuubi项目的功能、架构、社区参与和发布指南。以下是文档的核心内容总结： ### 1. **项目概述** Apache Kyuubi是一个分布式和多租户的SQL网关，支持基于各种计算框架（如Apache Spark、Flink、Doris、Hive、Trino等）的大规模数据处理和分析。它为数据仓库和数据湖提供了无服务器SQL查询功能，并通过统一的接口隐藏了底层计算和存储的复杂性。 Kyuubi的架构分层清晰，组件之间松耦合，便于构建现代数据栈。例如，用户可以通过Kyuubi、Spark和Iceberg构建数据湖仓库，支持ETL和OLAP等多种工作负载，使用统一的SQL接口。 ### 2. **核心功能** - **多租户支持（Multi-tenancy）** Kyuubi支持端到端的多租户功能。在控制平面上，Kyuubi服务器提供集中式身份验证机制，支持LDAP、Kerberos等协议，确保数据和资源的安全。在数据平面上，Kyuubi引擎使用可信客户端身份进行实例化，确保资源分配和数据访问的隔离。 此外，Kyuubi还提供粒度化的行列级数据安全机制。 - **高可用性（High Availability）** Kyuubi设计了高可用性功能，确保系统在指定时长内无故障运行。包括负载均衡（防止单点故障）、故障检测（通过指标和日志监控）和零停机时间维护等功能。 ### 3. **应用编程接口（API）** Kyuubi提供了多种接口供客户端连接和操作，包括： - Hive Thrift Protocol（支持JDBC、ODBC接口） - RESTful APIs（提供系统管理、SQL查询提交和结果接收等功能） - MySQL Protocol（兼容MySQL连接器） ### 4. **社区参与** Kyuubi是一个社区驱动的项目，欢迎用户参与贡献。用户可以通过多种渠道参与，包括加入邮件列表、报告问题、改进文档、测试发布版本等。 ### 5. **发布指南** 文档详细描述了Kyuubi的发布流程，包括： 1. 发布决策 2. 发布准备 3. 分支切割 4. 构建发布候选版本 5. 发布候选版本投票 6. 问题修复（如需） 7. 发布最终化 8. 发布推广（如更新网站、发送公告） 9. 清理过时的发布候选目录 10. 发布Docker镜像 ### 6. **安装与配置** - **Kyuubi服务器安装** 包括解压缩、配置文件修改等基本步骤。配置文件如`kyuubi-defaults.conf.template`和`log4j2.properties.template`提供了默认设置。 - **Spark安装** Kyuubi当前版本已对Spark 3和Scala 2.12进行了预编译和构建。 - **JDBC配置** 用户可以通过JDBC驱动连接Kyuubi服务器，配置主机、端口、数据库/模式等基本信息。支持通过附加配置覆盖会话级设置。 ### 7. **总结** Apache Kyuubi是一个功能强大的分布式SQL网关，专注于多租户、安全性和高可用性，为大规模数据处理和分析提供了便捷的解决方案。其社区驱动的模式和详细的发布指南也为用户提供了良好的支持和扩展性。