Spark Scala如何执行

Question

我编写了以下代码，它返回“找不到类”异常。我不确定如何将数据从 csv 文件加载到 SparkSQL。

import org.apache.spark.SparkContext

/**

 * Loading sales csv using DataFrame API

 */

object CsvDataInput {

  def main(args: Array[String]) {    

    val sc = new SparkContext(args(0), "Csv loading example")

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

    df.printSchema()

    df.registerTempTable("data")

    val aggDF = sqlContext.sql("select * from data")

    println(aggDF.collectAsList())

  } 
}

Answer 1

尝试替换此行

import org.apache.spark.SparkContext

有了这个

import org.apache.spark.*

您只导入了库的一部分，但使用了该部分之外的类。此外，您的导入实际上拼写错误 - 它应该是 org.apache.spark.sql.SQLContext，并且您使用了其他一些包，与提供的代码无关。