在 Spark CLI 中初始化 HiveContext

Question

在命令行界面初始化Spark时，默认SparkContext初始化为sc，SQLContext初始化为sqlContext。

但我需要 HiveContext，因为我使用的是函数 collect_list，SparkContext 不支持，但 HiveContext 支持。由于 HiveContext 是 SparkContext 的超类，它应该可以工作，但事实并非如此。

如何使用 Spark CLI 在 Scala 中初始化 HiveContext？

Answer 1

您可以按照以下步骤进行操作：

import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val depts = sqlContext.sql("select * from departments")`

Answer 2

在 spark-shell 中，sqlContext 默认是 HiveContext 的一个实例。您可以在我之前的回答 here 中了解这一点。

不过，collect_list 在 spark 1.5.2 中不可用。它是在 spark 1.6 中引入的，所以你可以找到它是正常的。

参考：https://github.com/apache/spark/blob/v1.6.2/sql/core/src/main/scala/org/apache/spark/sql/functions.scala#L213

您也不需要在 shell 中导入 org.apache.spark.sql.functions._。默认导入。

Answer 3

sqlContext 是一个 HiveContext

scala> sqlContext
res11: org.apache.spark.sql.SQLContext = org.apache.spark.sql.hive.HiveContext@4756c8f3

[编辑]

使用前导入函数。

import org.apache.spark.sql.functions._