运行名为 Kafka Word Count 的 Kafka 和 Spark Streaming 示例失败答案

【问题标题】：Failed on running an example of Kafka & Spark Streaming named KafkaWordCount运行名为 Kafka Word Count 的 Kafka 和 Spark Streaming 示例失败
【发布时间】：2014-10-02 10:43:14
【问题描述】：

我研究了 http://rishiverma.com/software/blog/2014/07/31/spark-streaming-and-kafka-quickstart/ 上的名为 KafkaWordCount 的示例

顺便说一句，我修改了一些无关紧要的细节。而当我到最后一步构建一个Kafka消费者时，它失败了，并说：

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'localhost:2181'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:1493)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:279)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:542)
at org.apache.spark.streaming.StreamingContext$.createNewSparkContext(StreamingContext.scala:555)
at org.apache.spark.streaming.StreamingContext.<init>(StreamingContext.scala:92)
at org.apache.spark.streaming.examples.KafkaWordCount$.main(KafkaWordCount.scala:54)
at org.apache.spark.streaming.examples.KafkaWordCount.main(KafkaWordCount.scala)

有人遇到过这种失败吗？

【问题讨论】：

标签： apache-spark apache-kafka spark-streaming

【解决方案1】：

您使用的是哪个版本的 Spark？在 Spark 1.0+ 中，KafkaWordCount 位于 org.apache.spark.examples.streaming 包下。从您的堆栈跟踪来看，您的版本似乎在 org.apache.spark.streaming.examples 下，这表明您使用的是 1.0 之前的 Spark 版本。

在 Spark 0.9.x（在引入 SparkConf 和 spark-submit 之前发布）中，此示例的第一个参数是 Spark 主 URL (source)，导致您看到的问题，因为“无法解析主 URL”错误表明 local:2181 不是 valid Spark master URL。

如果可以，我建议使用更新版本的 Spark（您链接的教程建议使用 Spark 1.0.1 或更高版本）。否则，请按照特定版本的 KafkaWordCount (example) 顶部的说明进行操作。

【讨论】：

感谢您的回答。真的很有帮助