如何在 Spark 中使用 Kafka 消费者

Question

我正在使用 spark 2.1 和 Kafka 0.10.1。

我想通过每天读取Kafka中特定主题的全部数据来处理数据。

对于火花流，我知道createDirectStream 只需要包含主题列表和一些配置信息作为参数。

但是，我意识到createRDD 必须包含所有主题、分区和偏移信息。

我想让批处理像 Spark 中的流式处理一样方便。

有可能吗？

Answer 1

我建议你从Cloudera阅读这篇文章。

此示例向您展示如何从 Kafka 一次性获取数据。由于 ACID 架构，您将在 postgres 中保留偏移量。

所以我希望这能解决你的问题。