【问题标题】:Get HiveContext using Spark/Java Maven project使用 Spark/Java Maven 项目获取 HiveContext
【发布时间】:2023-03-16 10:45:01
【问题描述】:

我正在尝试使用 HiveContext 通过 Spark SQL 从表中获取值。

但我不确定如何配置 hive 元存储详细信息并使其正常工作。

我们需要在SparkContext() 上设置一些东西吗?

问候, 尚卡尔

【问题讨论】:

    标签: java apache-spark apache-spark-sql


    【解决方案1】:

    直接来自the documentation

    HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc);
    

    通过将 hive-site.xml 文件放在 conf/ 中来完成 Hive 的配置。

    例如hive-site.xml

    【讨论】:

    • 如果我想在 Eclipse / STS 工具中工作,我应该将 hive-site.xml 文件放在哪里。我需要把它放在资源文件夹下吗?请帮助我。
    • this。此外,HiveContext 具有 setConf 方法,因此您应该能够使用它来覆盖某些特定值。
    猜你喜欢
    • 2015-05-09
    • 2018-04-25
    • 2016-04-03
    • 2011-11-04
    • 2016-07-11
    • 1970-01-01
    • 2017-05-19
    • 1970-01-01
    • 2019-06-11
    相关资源
    最近更新 更多