Scala 错误：值 $ 不是对象 org.apache.spark.api.java.JavaSparkContext 的成员

Question

我是 Spark 的新手。我正在尝试在 Spark shell 中运行以下代码：

import org.apache.spark.api.java.JavaSparkContext
import org.apache.hadoop.conf
JavaSparkContext context = new JavaSparkContext(conf);

但我收到以下错误：

<console>:32: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext
val $ires10 = JavaSparkContext.context
                           ^
<console>:29: error: value context is not a member of object 
org.apache.spark.api.java.JavaSparkContext
     JavaSparkContext context = new JavaSparkContext(conf);

我是否缺少任何导入语句？我也加了

import org.apache.spark.api.java.JavaSparkContext._

但它仍然没有工作。请帮忙。

Answer 1

更新：配置是否有效是您必须处理的事情，但这解决了您在原始问题中提出的错误。

您的代码（几乎）是有效的Java，但不是有效的Scala。你的意思是这样的：

import org.apache.spark.api.java.JavaSparkContext

val context = new JavaSparkContext()

或者，由于您使用的是 Scala，因此您可能想试试这个。

import org.apache.spark.SparkContext

val context = new SparkContext()

至于您报告的错误，Scala 会将声明 JavaSparkContext context 视为对名为 object 的名为 context 的成员的引用，该成员名为 JavaSparkContext - 而不是变量Java 中的声明。