【问题标题】:how can i run hadoop streaming job in one cluster and write output to other cluster?如何在一个集群中运行 hadoop 流作业并将输出写入另一个集群?
【发布时间】:2018-08-24 02:36:41
【问题描述】:

我有 2 个带有 2 个不同 ugi 的 hadoop 集群。 我想在一个集群中运行hadoop作业,因为队列是空的,但我也想输出到另一个集群,因为它的hdfs是空的,我该怎么做。

在 hadoop 流作业中是否有类似于 distcp(我可以设置源 ugi 和 dest ugi)的方法?

非常感谢你

【问题讨论】:

    标签: hadoop hadoop-streaming


    【解决方案1】:

    您可以尝试在输出步骤中将结果写入-output hdfs://namenode-2:port/path/data。

    否则,可能需要HDFS Federation

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-11-30
      • 2018-02-10
      • 2018-06-02
      • 2022-07-11
      • 1970-01-01
      • 2016-08-10
      • 1970-01-01
      • 2021-11-01
      相关资源
      最近更新 更多