【发布时间】:2018-08-24 02:36:41
【问题描述】:
我有 2 个带有 2 个不同 ugi 的 hadoop 集群。 我想在一个集群中运行hadoop作业,因为队列是空的,但我也想输出到另一个集群,因为它的hdfs是空的,我该怎么做。
在 hadoop 流作业中是否有类似于 distcp(我可以设置源 ugi 和 dest ugi)的方法?
非常感谢你
【问题讨论】:
我有 2 个带有 2 个不同 ugi 的 hadoop 集群。 我想在一个集群中运行hadoop作业,因为队列是空的,但我也想输出到另一个集群,因为它的hdfs是空的,我该怎么做。
在 hadoop 流作业中是否有类似于 distcp(我可以设置源 ugi 和 dest ugi)的方法?
非常感谢你
【问题讨论】:
您可以尝试在输出步骤中将结果写入-output hdfs://namenode-2:port/path/data。
否则,可能需要HDFS Federation
【讨论】: