【问题标题】:How to reference the dependencies (jars) stored in hdfs on Hadoop?如何在 Hadoop 上引用存储在 hdfs 中的依赖项(jar)?
【发布时间】:2017-08-18 12:54:55
【问题描述】:

在 Hadoop 上:我想运行一个 jar,它有许多存储在 hdfs 中的依赖项(jar)(我不想将它们放在本地文件系统中)。

我该怎么做?

【问题讨论】:

    标签: java hadoop jar dependencies classpath


    【解决方案1】:

    您可以将它们放在客户端的类路径中 (边缘)节点,即运行代码的机器(主 jar)

    更新:您可以探索 -libjars 选项。

    您也可以查看这个非常好的博客。 http://grepalex.com/2013/02/25/hadoop-libjars/

    【讨论】:

    • 你能举个例子吗?还有存储在 hdfs 中的依赖项(jars)我不想把它们放在每个节点的本地文件系统中。
    • 我建议探索一下 -libjars 选项。
    • 我认为本地库的 libjars 不适用于 hdfs 中的库
    猜你喜欢
    • 1970-01-01
    • 2018-03-31
    • 2016-01-22
    • 1970-01-01
    • 1970-01-01
    • 2014-08-08
    • 2017-01-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多