【问题标题】:Changing Hadoop Block Size lower than minimum block size将 Hadoop 块大小更改为小于最小块大小
【发布时间】:2016-03-29 21:38:21
【问题描述】:

如何将 Hadoop 块大小更改为低于默认最小块大小。

本手册页 (https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml) 指出默认情况下最小块大小或 dfs.namenode.fs-limits.min-block-size 设置为 1048576 (1 MB)。但是,当我在hdfs-site.xml 中将其更改为低于该值的任何值时,例如 100 KB,同时我将dfs.blocksize 更改为 200 KB(仍然大于修改后的最小块大小),我仍然收到错误消息,指出 dfs.blocksize 不能低于 1048576 的最小块大小。

另外,我使用的是 Hadoop 2.7.1,以防万一。

【问题讨论】:

    标签: java hadoop hdfs block


    【解决方案1】:

    您应该在hdfs-site.xml 中添加属性,而不是在hdfs-default.xml 中。添加属性并重启namenode再试一次。

    【讨论】:

    • 我的错,我的意思是说我在 hdfs-site.xml 上尝试过,而不是 hdfs-default.xml。
    • 你试过重启hadoop服务然后运行你的工作吗?
    • 我尝试重新启动服务,它仍然显示 dfs.blocksize
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-13
    • 1970-01-01
    • 1970-01-01
    • 2011-03-25
    • 2017-10-09
    • 1970-01-01
    相关资源
    最近更新 更多