Spark Scala：无法导入 sqlContext.implicits._答案

【问题标题】：Spark Scala : Unable to import sqlContext.implicits._Spark Scala：无法导入 sqlContext.implicits._
【发布时间】：2016-04-23 14:23:45
【问题描述】：

我尝试了以下代码，但无法导入 sqlContext.implicits._ - 它会引发错误（在 Scala IDE 中），无法构建代码：

值隐式不是 org.apache.spark.sql.SQLContext 的成员

我需要在pom.xml 中添加任何依赖项吗？

Spark 1.5.2 版

package com.Spark.ConnectToHadoop

import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.rdd.RDD
//import groovy.sql.Sql.CreateStatementCommand

//import org.apache.spark.SparkConf


object CountWords  {

  def main(args:Array[String]){

    val objConf = new SparkConf().setAppName("Spark Connection").setMaster("spark://IP:7077")
    var sc = new SparkContext(objConf)
val objHiveContext = new HiveContext(sc)
objHiveContext.sql("USE test")
var rdd= objHiveContext.sql("select * from Table1")
val options=Map("path" -> "hdfs://URL/apps/hive/warehouse/test.db/TableName")
//val sqlContext = new org.apache.spark.sql.SQLContext(sc)
   val sqlContext = new SQLContext(sc)
    import sqlContext.implicits._      //Error
val dataframe = rdd.toDF()
dataframe.write.format("orc").options(options).mode(SaveMode.Overwrite).saveAsTable("TableName")      
  }
}

我的pom.xml文件如下

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.Sudhir.Maven1</groupId>
  <artifactId>SparkDemo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>SparkDemo</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.5.2</version>
    </dependency> 
    <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.0.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_2.10</artifactId>
    <version>1.5.2</version>
</dependency>

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.10</artifactId>
      <version>0.9.1</version>
    </dependency>

     <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.10</artifactId>
        <version>1.2.1</version>
    </dependency>
  <dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>1.2.1</version>
</dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>     

  </dependencies>
</project>

【问题讨论】：

标签： scala maven apache-spark apache-spark-sql

【解决方案1】：

先创建

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

现在我们有了sqlContext w.r.t sc（这将在我们启动 spark-shell 时自动可用）现在，

import sqlContext.implicits._

【讨论】：

欢迎来到 SO！您的回复看起来像是评论而不是答案。一旦你有足够的reputation，你就可以在任何帖子上comment。还要检查这个what can I do instead。如果您打算回答，请阅读此how-to-answer 以提供高质量的答案。

【解决方案2】：

随着 Spark 2.0.0（2016 年 7 月 26 日）的发布，现在应该使用以下内容：

import spark.implicits._  // spark = SparkSession.builder().getOrCreate()

https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html

【讨论】：

【解决方案3】：

您使用的是旧版本的 Spark-SQL。将其更改为：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.5.2</version>
</dependency>

【讨论】：

或者，更好的是，添加一个属性spark.version，这样在切换到新的Spark版本时，您只需在一个地方进行更改。
谢谢，我解决了这个问题，但遇到了以下异常：我什至添加了对 spark-catalyst_2.10 的依赖：线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/sql /catalyst/analysis/OverrideFunctionRegistry
您确定您的所有 spark 部门都是 1.5.2 版吗？也许你真的应该按照@Alexey Romanov 的建议去做，并在你的 pom 中引入一个 spark.version 变量。
你不知道，如何检查？早些时候我们有 spark 版本 1.4.1 并且很好，最近它升级到 1.5.2 也添加了属性 1.5.2
我知道您已经创建了一个新问题 - stackoverflow.com/questions/34871015/…。请将您的 pom 粘贴到此处，我们可以尝试解决此问题。

【解决方案4】：

对于使用 sbt 构建的人，请将库版本更新为

libraryDependencies ++= Seq(
  "org.apache.spark" % "spark-core_2.12" % "2.4.6" % "provided",
  "org.apache.spark" % "spark-sql_2.12" % "2.4.6" % "provided"
)

然后如下导入SqlImplicits。

val spark = SparkSession.builder()
      .appName("appName")
      .getOrCreate()

    import spark.sqlContext.implicits._;

【讨论】：

【解决方案5】：

你也可以使用

<properties>
   <spark.version>2.2.0</spark.version>
</properties>


<dependency>
    <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
      <version>${spark.version}</version>
 </dependency>
  <dependency>   
      <groupId>org.apache.spark</groupId>
       <artifactId>spark-sql_2.11</artifactId>
       <version>${spark.version}</version>
  </dependency>

【讨论】：