如何在pyspark中安装kafka模块

Question

导入 KafkaUtils 时遇到问题： 没有名为 'pyspark.streaming.kafka' 的模块，但我不知道如何安装 kafka 模块。

我使用 python 3.6.8、spark 2.2.0 和 kafka_2.12-2.5.0

Answer 1

事实证明，KafkaUtils 已被弃用，取而代之的是 Spark Structured Streaming。这意味着您有两条前进的道路：

1. 重新设计您的应用程序以改用结构化流式处理（请参阅https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html 了解入门知识）。

2. 将您的 Spark 版本降级为仍将 KafkaUtils 作为分发的一部分的版本（您会发现 KafkaUtils 不需要单独安装）。