我正在阅读有关 spark 及其 real-time stream 处理的信息。我很困惑如果 spark 本身可以从 twitter 或 file 等源读取流，那么为什么我们需要kafka 将数据提供给spark？如果有人向我解释如果我们将spark 与kafka 一起使用会获得什么优势，那就太好了。谢谢。
【问题讨论】：
标签： apache-spark streaming apache-kafka spark-streaming
Kafka 为您的输入流提供解耦和缓冲功能。
以 Twitter 数据为例，afaik 您连接到 twitter api 并获得符合您指定条件的持续推文流。如果您现在将 Spark 作业关闭一个小时以对服务器进行一些维护或推出新版本，那么您将错过该小时的推文。
现在想象一下，您将 Kafka 放在 Spark 作业的前面，并有一个非常简单的摄取线程，它除了连接到 api 并将推文写入 Kafka，Spark 作业从中检索它们。由于 Kafka 将所有内容都保存在磁盘上，因此您可以关闭处理作业、执行维护，当它们重新启动时，它们将检索离线时的所有数据。
此外，如果您对处理工作进行了重大更改并希望重新处理上周的数据，如果您的链中有 Kafka（前提是您将保留时间设置得足够高），那么您可以轻松做到这一点 - 您d 只需推出您的新作业并更改 Kafka 中的偏移量，以便您的作业重新读取旧数据，一旦完成，您的数据存储就会与您的新处理模型保持同步。
有一个good article 是由 Kafka 背后的人 Jay Kreps 写的关于一般原则的，如果您想了解更多信息，请阅读它。
【讨论】：
Kafka 解耦了一切，消费者和生产者不需要相互了解。 Kafka 提供基于主题的 pub-sub 模型。
您可以从多个来源将数据（消息）写入 kafka 中的任何主题，消费者（spark 或任何东西）可以根据主题消费数据。
多个消费者可以消费来自同一主题的数据，因为kafka存储数据一段时间。
但最后，如果您真的需要代理，这取决于您的用例。
【讨论】：