QCon北京2017/支撑海量业务的互联网架构/知乎基于 Kubernetes 的 Kafka 平台探索和实践

知乎在QCon北京2017大会上分享了其基于Kubernetes构建的Kafka平台实践，以下是总结： ### 演讲纲要 1. **Kafka在知乎的应用** - Kafka是知乎流式数据平台，承载业务日志、数据传输和消息队列服务。 - 线上稳定运行，包含13个Kafka集群，支持1000+个Topic，是知乎技术平台的重要组件。 2. **为什么选择基于Kubernetes的Kafka平台？** - **问题驱动**： - 原有Kafka资源规划不合理，存在单点风险。 - 集群与Topic等级区分不明，影响重要业务优先级。 - 业务与Kafka深度耦合，扩展性不足。 3. **基于Kubernetes的Kafka平台实践** - **多集群管理**： - 按照Topic类型（如日志、数据传输、消息队列）划分集群，同一类型Topic的集群进行细分。 - 根据Topic服务等级、容量和规模进行资源规划，避免单点风险，提升资源利用率。 - **平台架构**： - 基于Kubernetes的多Kafka集群管理。 - 提供监控、服务注册、Kafka客户端和平台API，实现高可用性和便捷性。 ### 核心观点 知乎通过基于Kubernetes的Kafka平台，解决了原有架构中的资源规划、单点风险和业务耦合问题，实现了多集群管理、high availability和更高的资源利用率，成为支撑海量业务的重要技术支柱。