使用 Spark SQL 访问 Hive 表

Question

我设置了一个包含 spark 2.3.2、hive 2.3.3 和 hbase 1.4.7 的 AWS EMR 集群。如何配置 spark 以访问 hive 表？

我已经采取了以下步骤，但结果是错误消息：

java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: 创建 Hive 客户端时的 org/apache/tez/dag/api/SessionNotRunning 使用类路径：

请确保您的 hive 和 hadoop 版本的 jar 是 包含在传递给 spark.sql.hive.metastore.jars 的路径中

步骤：

1. cp /usr/lib/hive/conf/hive-site.xml /usr/lib/spark/conf

2. 在/usr/lib/spark/conf/spark-defaults.conf 中添加：

   spark.sql.hive.metastore.jars /usr/lib/hadoop/lib/*:/usr/lib/hive/lib/*

3. 在 zeppelin 中，我创建了一个 spark 会话：

   val spark = SparkSession.builder.appName("clue").enableHiveSupport().getOrCreate() 导入 spark.implicits._

Answer 1

您提到的步骤 (1, & 2) 部分没问题，除了一些可能对您有帮助的小调整。

由于您使用的是hive-2.x，因此请配置spark.sql.hive.metastore.jars 并将其设置为maven 和spark.sql.hive.metastore.version 以匹配您的元存储2.3.3 的版本。只需使用2.3 作为版本就足够了，请参阅Apache Spark Code 中的原因

这是我在spark-default.conf 中设置的工作配置示例：

spark.sql.broadcastTimeout  600 # An arbitrary number that you can change
spark.sql.catalogImplementation hive
spark.sql.hive.metastore.jars   maven
spark.sql.hive.metastore.version    2.3  # No need for minor version
spark.sql.hive.thriftServer.singleSession   true
spark.sql.warehouse.dir {hdfs | s3 | etc}
hive.metastore.uris thrift://hive-host:9083

通过之前的设置，我已经能够对 Zeppelin 中的数据仓库执行如下查询：

val rows = spark.sql("YOUR QUERY").show

有关连接到外部配置单元元存储的更多详细信息，请参见此处 (Databricks)