【发布时间】:2015-06-03 07:44:21
【问题描述】:
我没有询问如何在 hadoop 中为文件夹/文件设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。
hadoop fs -setrep -R -w 3 <folder-path>
我在问,在从本地复制数据时,如何设置复制因子,而不是默认值(在我的场景中为 4)。我正在运行以下命令,
hadoop fs -copyFromLocal <src> <dest>
当我运行上述命令时,它会将数据从src 复制到dest 路径,复制因子为4。但我想在复制数据时将复制因子设为1,而不是在复制完成后。基本上我想要这样的东西,
hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>
我试过了,但是没有用。那么,可以做到吗?还是我先复制复制因子为 4 的数据,然后运行setrep 命令?
【问题讨论】: