Zsolt Varga 2021-Feb-26 Apache Kafka with Istio on K8s 2 • Scalability • Resiliency • Security • Observability • Disaster recovery Production grade Apache Kafka on Kubernetes 3 • Secure communication account based authn/authz • Secure cross-cluster interaction between client apps and Kafka Security goals 4 • Kafka brokers require private-key and certificate pairs • Private keys and certificates are are stored in keystore and truststore files in JKS or PKCS12 or PEM format Challenges – Kafka broker SSL with client auth 5 • Certificate renewal requires keystore and truststore regeneration • Broker

Vasiliki (Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 1/30: Introduction to Apache Flink and Apache Kafka Vasiliki Kalavri | Boston University 2020 Apache Flink • An open-source, distributed data analysis analysis framework • True streaming at its core • Streaming & Batch API Historic data Kafka, RabbitMQ, ... HDFS, JDBC, ... Event logs ETL, Graphs,
 Machine Learning
 Relational, … Low latency,
 pipelines. Kafka is commonly deployed on a cluster of one or more servers. 21 Vasiliki Kalavri | Boston University 2020 Terminology A topic identifies a category of stream records stored in a Kafka cluster

Kubernetes 的 Kafka平台 探索和实践 知乎 ⽩白瑜庆 ⾃自我介绍 知乎技术平台⼯工程师 负责 Kafka 和数据库平台 曾在新浪和⾦金金⼭山云负责镜像流量量分析项⽬目 纲要 Kafka 在知乎的应⽤用 为什什么做基于 Kubernetes 的 Kafka 平台 基于 Kubernetes 的 Kafka 平台实践 Apache Kafka 分布式的流式数据平台 基于 Kubernetes 的 Kafka 集群 13 个， 1000+ Topic 知乎技术平台重要的组件 Kafka 在知乎的应⽤用 平台概览 Kubernetes 多 Kafka 集群 监控 服务 注册 Kafka 客户端 平台 API • 多集群 • ⾼高可⽤用 为什什么采⽤用 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 类型划分集群 同⼀一类型 Topic 的集群细分 • Topic 服务等级、容量量和规模划分 资源规划 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式

抽取根节点的元素 进行解析。默认为空。 数据源的类型。当前支持： 支持如下数据源属性： 1. Kafka 的 broker 连接信息。格式为 ip:host。多个broker之间以逗号分隔。 2. 指定要订阅的 Kafka 的 topic。 3. 指定需要订阅的 kafka partition，以及对应的每个 partition 的起始 offset。如果指定时间，则会从大于等于该时间的 es] FROM KAFKA FROM KAFKA (( "key1" = "val1", "key1" = "val1", "key2" = "val2" "key2" = "val2" )) data_source_properties data_source_properties kafka_broker_list kafka_broker_list kafka_broker_list "kafka_broker_list" = "broker1:9092,broker2:9092" "kafka_broker_list" = "broker1:9092,broker2:9092" kafka_topic kafka_topic "kafka_topic" = "my_topic" "kafka_topic" = "my_topic" kafka_partitions/kafka_offsets

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 10.3. Apache Kafka Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 10.3.3. Kafka Streams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370 10.3.4. Additional Kafka Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 10.3.5. Testing with Embedded Kafka. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .