Spark 流和 Kafka 集成答案

【问题标题】：Spark streaming and Kafka intergrationSpark 流和 Kafka 集成
【发布时间】：2017-06-30 07:22:22
【问题描述】：

我是 Apache Spark 的新手，我一直在做一个与 Twitter 数据情感分析相关的项目，其中涉及 Spark 流和 kafka 集成。我一直在关注 github 代码（下面提供了链接）

https://github.com/sridharswamy/Twitter-Sentiment-Analysis-Using-Spark-Streaming-And-Kafka 但是在最后一个阶段，即Kafka与Apache Spark的集成过程中，出现如下错误

py4j.protocol.Py4JError: An error occurred while calling o24.createDirectStreamWithoutMessageHandler. Trace:
py4j.Py4JException: Method createDirectStreamWithoutMessageHandler([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.HashMap, class java.util.HashSet, class java.util.HashMap]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:272)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:745)

使用的命令：bin/spark-submit --packages org.apache.spark:spark-streaming-kafka_2.10:1.5.1 twitterStream.py

Apache Spark 版本：spark-2.1.0-bin-hadoop2.4

卡夫卡版本：kafka_2.11-0.10.1.1

我无法对此进行调试，我们将不胜感激。

【问题讨论】：

标签： apache-spark apache-kafka spark-streaming sentiment-analysis spark-streaming-kafka

【解决方案1】：

您尝试运行的示例是为在 spark 1.5 中运行而设计的。您应该下载 spark 1.5 或从 spark 2.1.0 运行 spark-submit，但使用与 2.1.0 相关的 kafka 包，例如： ./bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.1.0.

【讨论】：