【问题标题】:"Cannot find hadoop installation : $HADOOP_HOME .. " getting this error while trying to run hive on spark.“找不到 hadoop 安装:$HADOOP_HOME ..”尝试在 spark 上运行 hive 时出现此错误。
【发布时间】:2016-09-08 18:49:43
【问题描述】:

我关注了这个https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started#HiveonSpark:GettingStarted-Configurationpropertydetails

已执行:

设置 spark.home=/location/to/sparkHome;

设置 hive.execution.engine=spark;

set spark.master= Spark-Master-URL

但是,在运行 ./hive 时,我遇到了上述错误:-

找不到 hadoop 安装:$HADOOP_HOME 或 $HADOOP_PREFIX 必须 设置或hadoop必须在路径中

我没有安装 Hadoop,并且想在独立运行的 spark 之上运行 hive。 我是否必须设置 HADOOP 才能在 spark 上运行 hive?

【问题讨论】:

    标签: apache-spark hive


    【解决方案1】:

    恕我直言,没有 hadoop,hive 就无法运行。可能有虚拟机已经预先安装了所有东西。 Hive 将在 Hadoop 之上运行。所以首先你需要安装Hadoop,然后你可以尝试hive。

    请参考这个https://stackoverflow.com/a/21339399/5756149

    如果我错了,请纠正我

    【讨论】:

    • 你错了,如果你在本地创建仓库并在 ​​hive-site.xml 中都将默认 fs 设置为本地,则可以在没有 hadoop 的情况下运行 hive
    • @anubhav 在本地运行 hive 对如此大的数据没有帮助,也无法在生产中移动
    猜你喜欢
    • 2014-05-01
    • 2014-07-31
    • 1970-01-01
    • 1970-01-01
    • 2012-04-16
    • 1970-01-01
    • 1970-01-01
    • 2023-03-18
    • 2022-06-11
    相关资源
    最近更新 更多