从数据框中获取 hivecontext

Question

我正在创建一个 hivecontext 而不是 sqlcontext 来创建 adtaframe

val conf=new SparkConf().setMaster("yarn-cluster")
val context=new SparkContext(conf)
//val sqlContext=new SQLContext(context)
val hiveContext=new HiveContext(context)
val data=Seq(1,2,3,4,5,6,7,8,9,10).map(x=>(x.toLong,x+1,x+2.toDouble)).toDF("ts","value","label")
//outdta is a dataframe
data.registerTempTable("df")
//val hiveTest=hiveContext.sql("SELECT * from df where ts < percentile(BIGINT ts, 0.5)")
val ratio1=hiveContext.sql("SELECT percentile_approx(ts, array (0.5,0.7)) from df")

我需要从 ratio1 获取确切的配置单元上下文，而不是再次从数据帧中的 povidedsql 上下文创建 hivecontext，我不知道为什么 spark 不给我来自数据帧的 hivecontext，它只提供 sqlcontext。

Answer 1

如果你使用HiveCOntext，那么df.sqlContext的运行时类型是HiveContext（HiveContext是SQLContext的子类型），因此你可以这样做：

val hiveContext = df.sqlContext.asInstanceOf[HiveContext]