第 26 节 Flink Kafka-Connector详解

上篇：第 25 节 Flink 并行度详解(Parallel)

---

1、Kafka-connector

1. Kafka中的partition机制和Flink的并行度机制深度结合
2. Kafka可以作为Flink的source和sink
3. 任务失败，通过设置kafka的offset来恢复应用

Kafka Consumer消费策略设置

---

2、Kafka Consumer的容错

1. 当checkpoint机制开启的时候，Kafka Consumer会定期把kafka的offset信息还有其他operator的状态信息一块保存起来。当job失败重启的时候，Flink会从最近一次的checkpoint中进行恢复数据，重新消费kafka中的数据。
2. 为了能够使用支持容错的kafka Consumer，需要开启checkpoint
   env.enableCheckpointing(5000); // 每5s checkpoint一次

动态加载Topic

---

3、Kafka Consumers Offset 自动提交

Kafka Producer

---

4、Kafka Producer的容错-Kafka 0.9 and 0.10

---

5、Flink 生产环境主要配置

生产环境检查清单