如何将文件从 HDFS 复制到远程 HDFS

Question

我想将文件从我的 Hadoop 集群复制到远程集群。

我在远程集群中有hadoop_conf文件，可以通过设置HADOOP_CONF_DIR.访问它

我知道远程名称节点的 IP 和端口。

我想通过命名空间复制文件，如下所示。

ex) hadoop fs -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file

但是，如果我不配置hadoop_conf_dir，我不知道远程命名空间，如果我在hadoop_conf_dir中设置远程集群的信息，我就无法访问我集群的命名空间。

请告诉我怎么做。

Answer 1

在集群之间复制的典型方法是使用distcp。

$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

看 DistCp Version2 Guide 了解更多信息。