【发布时间】:2023-03-16 10:45:01
【问题描述】:
我正在尝试使用 HiveContext 通过 Spark SQL 从表中获取值。
但我不确定如何配置 hive 元存储详细信息并使其正常工作。
我们需要在SparkContext() 上设置一些东西吗?
问候, 尚卡尔
【问题讨论】:
标签: java apache-spark apache-spark-sql
我正在尝试使用 HiveContext 通过 Spark SQL 从表中获取值。
但我不确定如何配置 hive 元存储详细信息并使其正常工作。
我们需要在SparkContext() 上设置一些东西吗?
问候, 尚卡尔
【问题讨论】:
标签: java apache-spark apache-spark-sql
直接来自the documentation:
HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc);
通过将 hive-site.xml 文件放在 conf/ 中来完成 Hive 的配置。
【讨论】:
HiveContext 具有 setConf 方法,因此您应该能够使用它来覆盖某些特定值。