Spark Streaming StreamingContext 错误

Question

您好，我开始学习 spark 流式学习，但我无法运行简单的应用程序 我的代码在这里

    import org.apache.spark._
    import org.apache.spark.streaming._
    import org.apache.spark.streaming.StreamingContext._
    val conf = new SparkConf().setMaster("spark://beyhan:7077").setAppName("NetworkWordCount")
    val ssc = new StreamingContext(conf, Seconds(1))
    val lines = ssc.socketTextStream("localhost", 9999)
    val words = lines.flatMap(_.split(" "))

我收到如下错误

scala> val newscc = new StreamingContext(conf, Seconds(1))
15/10/21 13:41:18 WARN SparkContext: Another SparkContext is being constructed (or threw an exception in its constructor).  This may indicate an error, since only one SparkContext may be running in this JVM (see SPARK-2243). The other SparkContext was created at:

谢谢

Answer 1

如果您使用的是 spark-shell，并且看起来确实如此，则不应使用 SparkConf 对象实例化 StreamingContext，而应直接传递 shell 提供的 sc。

这意味着：

val conf = new SparkConf().setMaster("spark://beyhan:7077").setAppName("NetworkWordCount")
val ssc = new StreamingContext(conf, Seconds(1))

成为，

val ssc = new StreamingContext(sc, Seconds(1))

Answer 2

看起来您在 Spark Shell 中工作。 那里已经为您定义了 SparkContext，因此您无需创建新的。 shell 中的 SparkContext 可以作为sc

如果您需要 StreamingContext，您可以使用现有的 SparkContext 创建一个：

val ssc = new StreamingContext(sc, Seconds(1))

如果您创建应用程序，则只需要 SparkConf 和 SparkContext。