SparkSQL——HiveContext的使用

HiveContext的使用

HiveContext也是已经过时的不推荐使用。

相关配置

如果想要用spark访问hive的表需要进行一下的配置 
1. 拷贝 ${HIVE_HOME}/conf/hive-site.xml到 ${SPARK_HOME}/conf中 
2. 在pom.xml文件中添加一下依赖

示例代码

package com.spark

import org.apache.spark.{SparkConf, SparkContext}

object HiveContextAPP {
  def main(args: Array[String]): Unit = {
    val path="E:\\data\\people.json"

    //1)创建相应的Context
    val sparkConf=new SparkConf()
    sparkConf.setAppName("SQLContextApp").setMaster("local[2]")
    val sc= new SparkContext()

    val hiveContext=new HiveContext(sc)

   //2)相关的处理
    hiveContext.table("emp").show


    //3)关闭资源
    sc.stop()
  }
}