Apache Kafka(v2.4.0) - Python 中的 Spark (v2.4.4) 流式集成

【问题标题】：Apache Kafka(v2.4.0) - Spark (v2.4.4) streaming Integration in PythonApache Kafka(v2.4.0) - Python 中的 Spark (v2.4.4) 流式集成
【发布时间】：2020-05-12 21:53:07
【问题描述】：

所以我在不同的 ubuntu 机器上安装了 Apache Spark 2.4.4 和 Kafka_2.12-2.4.0。我想从 IOT 设备中获取所有数据，输入 kafka，然后使用 spark-streaming，输入 spark。我想在 python 中完成这一切。根据此链接：https://spark.apache.org/docs/2.4.4/streaming-kafka-integration.html 由于我的 Kafka 版本超过 0.10，我不能使用 python，因为没有显示 python 的示例。是这样吗？或者有什么方法可以只使用python进行集成？

【问题讨论】：

标签： python apache-spark apache-kafka spark-structured-streaming

【解决方案1】：

没有为python显示示例

这并不意味着它不可能。

spark.readStream().format("kafka").option(...) 仍然可以在 Python 中使用，您可以在其他地方搜索大量“结构化流式 Python”示例

【讨论】：

spark-streaming 是否具有与 Structured Streaming 类似的功能，因为据我所知，Spark-Streaming 是 Spark 核心引擎之上的单独 API，但 Structured streaming 是 Spark-SQL API 的一部分火花。
它是二进制兼容的，根据文档
结构化流式传输是否优于 Spark 流式传输 api？
是的。自 2.3 起，Kafka Spark Streaming 被认为已弃用。查看您在问题中链接到的页面