【问题标题】:How to change replication factor while running copyFromLocal command?如何在运行 copyFromLocal 命令时更改复制因子?
【发布时间】:2015-06-03 07:44:21
【问题描述】:

我没有询问如何在 hadoop 中为文件夹/文件设置复制因子。我知道以下命令对现有文件和文件夹完美无缺。

hadoop fs -setrep -R -w 3 <folder-path>

我在问,在从本地复制数据时,如何设置复制因子,而不是默认值(在我的场景中为 4)。我正在运行以下命令,

hadoop fs -copyFromLocal <src> <dest>

当我运行上述命令时,它会将数据从src 复制到dest 路径,复制因子为4。但我想在复制数据时将复制因子设为1,而不是在复制完成后。基本上我想要这样的东西,

hadoop fs -setrep -R 1 -copyFromLocal <src> <dest>

我试过了,但是没有用。那么,可以做到吗?还是我先复制复制因子为 4 的数据,然后运行setrep 命令?

【问题讨论】:

    标签: hadoop hdfs


    【解决方案1】:

    根据this post 和this post(都提出不同的问题),这个命令似乎有效:

    hadoop fs -D dfs.replication=1 -copyFromLocal <src> <dest>
    

    -D option 表示“使用给定属性的值”。

    【讨论】:

    猜你喜欢
    • 2014-06-18
    • 1970-01-01
    • 1970-01-01
    • 2020-10-06
    • 2013-06-26
    • 1970-01-01
    • 2016-02-09
    • 2023-04-04
    • 1970-01-01
    相关资源
    最近更新 更多