【问题标题】:Hadoop - sharing files between multiple jobs in a chainHadoop - 在链中的多个作业之间共享文件
【发布时间】:2011-06-10 20:42:13
【问题描述】:

我编写了一个包含两个 map-reduce 阶段的 map-reduce 应用程序。

二进制输入文件 -> m1-> r1 -> m2 -> r2 -> 文本输出

我的应用程序的输入文件包含第二个 reducer (r2) 所需的一小块数据 (

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    尝试使用带有 -files 选项的 hadoop 我过去遇到过类似的问题,并且 -files 选项对我有用。 看看here

    【讨论】:

    • 我之前用过-files选项,问题是我要分享的文件是由map-reduce流水线的第一阶段生成的。换句话说,我没有客户端上可用的文件,无法在命令行上使用 -file 选项。
    猜你喜欢
    • 2016-05-05
    • 2020-06-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多