【发布时间】：2016-04-20 02:54:37
【问题描述】：
我首先生成一些消息，这些消息由 kafka 的代理保存在磁盘上。然后我启动火花流程序来处理这些数据，但是我在火花流中收不到任何东西。并且没有任何错误日志。
但是，如果我在 spark 流程序运行时产生消息，它可以接收数据。
Spark Streaming 只能接收来自 kafka 的实时数据吗？
【问题讨论】：
标签： apache-kafka spark-streaming
【发布时间】：2016-04-20 02:54:37
【问题描述】：
要控制在新的消费者流开始时消费哪些数据的行为，您应该提供 auto.offset.reset 作为用于创建 kafka 流的属性的一部分。
auto.offset.reset 可以取以下值：
- earliest => kafka 主题将从可用的最早偏移量开始使用
- latest => 将使用 kafka 主题，从当前最新的偏移量开始
另请注意，根据您使用的 kafka 消费者模型（基于接收的或直接的），重新启动的火花流作业的行为会有所不同。
【讨论】：