实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错：在 Linux 服务器上答案

【问题标题】：Error instantiating 'org.apache.spark.sql.hive.HiveSessionState': on Linux server实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错：在 Linux 服务器上
【发布时间】：2017-11-13 03:27:13
【问题描述】：

我有一个 Scala Spark 应用程序，我正在尝试使用 shell 脚本在 Linux 服务器上运行它。我收到错误消息：

线程“主”java.lang.IllegalArgumentException 中的异常：错误在实例化 'org.apache.spark.sql.hive.HiveSessionState' 时：

但是，我不明白出了什么问题。我这样做是为了实例化 Spark：

val sparkConf = new SparkConf().setAppName("HDFStoES").setMaster("local")

      val spark: SparkSession = SparkSession.builder.enableHiveSupport().config(sparkConf).getOrCreate()

我这样做是否正确，如果正确，可能是什么错误？

【问题讨论】：

您使用的是 Java / Python。你能澄清一下吗。我怀疑你使用java。如果是这样，请根据 java 标准实现程序/使用适当的 java 包。
其实是 Scala

标签： scala hadoop apache-spark hive

【解决方案1】：

sparkSession = SparkSession.builder().appName("Test App").master("local[*])
                .config("hive.metastore.warehouse.dir", hiveWareHouseDir)
                .config("spark.sql.warehouse.dir", hiveWareHouseDir).enableHiveSupport().getOrCreate();

如上使用，需要指定"hive.metastore.warehouse.dir"目录才能在spark session中启用hive支持。

【讨论】：