Spark Streaming、Structured Streaming 和 Kafka Streaming 是一回事吗？答案

【问题标题】：Are Spark Streaming, Structured Streaming and Kafka Streaming the same thing?Spark Streaming、Structured Streaming 和 Kafka Streaming 是一回事吗？
【发布时间】：2019-02-07 15:57:14
【问题描述】：

我遇到了三种流行的流技术，即 Spark Streaming、Structured Streaming 和 Kafka Streaming。我浏览了各个站点但没有得到这个答案，这三个是相同的还是不同的？如果不相同，那么基本区别是什么。我不是在寻找深入的答案。但是对上述问题（是或否）的答案以及对每个问题的一些介绍，以便我可以探索更多。 :)

提前致谢子类

【问题讨论】：

标签： apache-spark spark-streaming apache-kafka-streams spark-structured-streaming

【解决方案1】：

我猜你说“Kafka Streaming”时指的是Kafka Streams。

Kafka Streams 是一个 JVM 库，是 Apache Kafka 的一部分。它是一种处理 Kafka 主题中数据的方式，提供了一个抽象层。运行KafkaStreams库的应用程序可以在任何地方运行（不仅仅是在Kafka集群中，实际上不建议这样做）。他们将消费、处理和产生数据到/来自 Kafka 集群。

Spark Streaming 是 Apache Spark 分布式数据处理库的一部分，提供流（与批处理相反）处理。 Spark 最初只提供批处理计算，因此提供了一个特定的层Spark Streaming 用于流处理。 Spark Streaming 可以提供 Kafka 数据，但也可以连接到其他源。

Structured Streaming，在 Apache Spark 领域内，是一种不同的方法，它克服了 Spark Streaming 使用的先前方法对流处理的某些限制。它从某个版本（2.0 IIRC）开始添加到 Spark。

【讨论】：

谢谢。这回答了我的疑问。 :)
我很高兴听到@SubratKP。在这种情况下，请接受我的回答。谢谢！