StreamingContext 无法绑定到 Java 使用的端口答案

【问题标题】：StreamingContext couldn't bind to a port used by JavaStreamingContext 无法绑定到 Java 使用的端口
【发布时间】：2016-01-07 06:32:19
【问题描述】：

我已经启动了 Spark master 和 worker，并且可以轻松地在 HDFS 上运行 MapReduce 之类的 wordcount。

现在我想在 textstream 上运行流式传输，并且当我想创建一个新的 StreamingContext 我有这个错误：

scala> val ssc = new StreamingContext("spark://master:7077","test", Seconds(2))
13/07/17 11:13:45 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.2.105:48594
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:298)
....

我检查了端口，Java 使用了它。我终止了该进程，然后退出了 Spark-shell。

有什么方法可以将 StreamingContext 的端口更改为随机的空闲端口？

【问题讨论】：

标签： streaming spark-java

【解决方案1】：

Java 是 spark 的底层进程（scala 在 jvm 上运行）。您可能正在运行多个 spark /spark 流的副本。你能调查一下吗？

特别是：如果我已经运行了 spark-shell，我会得到相同的结果。

您可以检查其他火花过程：

ps -ef | grep spark | -v grep

【讨论】：