【问题标题】:hdfs copy multiple files to same target directoryhdfs 将多个文件复制到同一个目标目录
【发布时间】:2017-05-02 08:10:51
【问题描述】:

我了解到,如果您想将多个文件从一个 hadoop 文件夹复制到另一个 hadoop 文件夹,您最好创建一个包含大量组件的大型“hdfs dfs -cp”语句,而不是创建多个 hdfs dfs -cp 语句。 使用“更好”是指它会缩短复制文件所需的总时间:一个命令比几个单独的 -cp 命令相互运行要快。

当我这样做并且我想要复制的所有文件的目标目录都相同时,我会收到一条警告。

我正在执行以下命令:

hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target

执行后我收到以下警告:

cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself

虽然我收到了这个奇怪的警告,但副本本身应该会成功。 这是一个错误还是我错过了什么?

【问题讨论】:

    标签: hadoop copy hdfs subdirectory cp


    【解决方案1】:

    或者你可以这样做:

    hadoop fs -cp /path1/{file1, file2, file3} /pathx/target
    

    如果要复制所有文件,则:

    hadoop fs -cp /path1/* /pathx/target
    

    【讨论】:

      【解决方案2】:

      尝试使用以下语法:

      hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target
      

      【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-11-11
      • 2023-03-11
      • 2020-03-22
      • 1970-01-01
      • 2017-08-14
      • 2015-10-15
      • 2012-03-04
      • 2015-06-23
      相关资源
      最近更新 更多