从 Spark 访问 Hive 表

Question

我面临一个问题：我无法使用 spark-submit 从 Spark 访问 Hive 表，而使用 pyspark shell 可以。这是一段代码：

from pyspark.sql import SparkSession, HiveContext

spark = SparkSession \
   .builder \
   .appName("Python Spark SQL Hive integration example") \
   .enableHiveSupport() \
   .getOrCreate()

spark.sql("SHOW TABLES").show()

这是 pyspark (shell) 的结果：

+--------+-------------+-----------+
|database|    tableName|isTemporary|
+--------+-------------+-----------+
| default|       table1|      false|
| default|       table2|      false|
+--------+-------------+-----------+

这是 spark-submit 的结果：

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
+--------+---------+-----------+

我尝试将 spark conf 目录添加到类路径中，使用 hive-site.xml 添加“--files”，我也尝试使用 Hivecontext，并得到了相同的结果。我尝试使用 scala：结果相同。

编辑：我没有连接到远程 Hive 服务器，而是在同一个服务器上

Answer 1

找到解决方案： 我在我的 .py 文件中使用了一些 UDF（用户定义的函数）。出于某种原因，我认为它正在创建一个上下文，而我没有使用正确的上下文。现在可以正常使用了。