停止所有现有的火花上下文

Question

我正在尝试使用 pyspark 创建一个新的 Spark 上下文，我得到以下信息：

WARN SparkContext: 另一个 SparkContext 正在构建（或抛出 其构造函数中的异常）。这可能表示错误，因为 此 JVM 中只能运行一个 SparkContext（请参阅 SPARK-2243）。这 其他 SparkContext 创建于： org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:61)

我没有任何其他活动的上下文（理论上），但它可能没有正确完成并且它仍然存在。我怎样才能知道是否有其他的或杀死所有当前的？我正在使用火花 1.5.1

Answer 1

当您运行 pyspark shell 并在其中执行 python 脚本时，例如，使用 'execfile()'，SparkContext 可用作 sc，HiveContext 可用作 sqlContext。要在没有任何上下文的情况下运行 python 脚本，只需使用 ./bin/spark-submit 'your_python_file'。