【问题标题】:Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:"
【发布时间】:2017-04-11 10:14:37
【问题描述】:

在打印 SQL 数据库的架构时,我收到以下错误:

【问题讨论】:

  • 您好,如果您的回答令您满意,请在箭头上打勾并可能点赞。

标签: hive pyspark pyspark-sql


【解决方案1】:

使用 SparkSession 代替 SQLContext。这样做:

sqlContext = SparkSession.builder.master("local[*]").appName("appName").
                      config("spark.sql.warehouse.dir", "./spark-warehouse").getOrCreate()

您的其余代码应该可以正常工作。
您可以从 sqlContext 调整变量名称以反映所持有的引用。

【讨论】:

  • Ekaba 答案对我有用。只是补充一下,错误的原因是由于 .enableHiveSupport() 存在于 shell.py 文件中。
  • 好的。伟大的。请根据您的观察更新我的答案。对其他人会有帮助。另外,别忘了点赞:D
  • 我在这里更新了我的观察link
  • @EkabaBisong - 你是我的英雄!!几个小时以来,我一直在努力在 docker 容器中进行 spark-submit 工作,而这个 hivebuilder 错误是最后需要修复的部分。谢谢!
猜你喜欢
  • 1970-01-01
  • 2017-10-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-07-26
  • 1970-01-01
  • 1970-01-01
  • 2015-01-02
相关资源
最近更新 更多