kafka 直接流和 seekToEnd

【问题标题】：kafka direct stream and seekToEndkafka 直接流和 seekToEnd
【发布时间】：2020-06-23 09:45:50
【问题描述】：

在我的 Spark 作业中，我使用 KafkaUtils.createDirectStream 初始化 Kafka 流。

我读到了 seekToEnd 的 Consumer 方法。如何将其应用于流？

【问题讨论】：

【解决方案1】：

spark-kafka 传递包含 kafka-clients，所以欢迎您自己初始化原始消费者实例并寻找它

或者，如果不存在消费者组，您可以在 Spark 配置中设置 startingOffsets=latest

注意：Kafka Direct Stream API 自 Spark 2.4 起已弃用，您应该改用结构化流处理

【讨论】：