pyspark，你能以某种方式将 pyspark 的 SparkContext 传递给 java 对象吗答案

【问题标题】：pyspark, can you somehow pass pyspark's SparkContext to a java objectpyspark，你能以某种方式将 pyspark 的 SparkContext 传递给 java 对象吗
【发布时间】：2016-06-14 17:44:18
【问题描述】：

因此，根据众所周知的 spark 错误/设计限制https://issues.apache.org/jira/browse/SPARK-2243，您不能拥有多个 SparkContext。现在，我正在做 python 和 Scala 的这种非常丑陋的混合，我有一个 Scala 方法，它需要一个 SparkContext 作为参数。我能否以某种方式在py4j 中实例化这个Scala 对象，然后将其传递给pyspark 的SparkContext（在pyspark shell 中导出为sc）。我的理解是sc 是一个围绕 Scala 对象的薄包装器，但我不知道如何将其转换为 java/scala 类并将其作为参数传递给我的 Scala 方法。

【问题讨论】：

标签： apache-spark pyspark py4j

【解决方案1】：

您可以在 Scala 中调用 SparkContext.getOrCreate() 以获取由 PySpark 创建的活动 SparkContext。

【讨论】：

谢谢，看来它会起作用。我会在今天晚些时候做，然后回帖。