【问题标题】:Expanding HDFS memory in Cloudera在 Cloudera 中扩展 HDFS 内存
【发布时间】:2016-08-12 00:32:54
【问题描述】:

我需要在 cloudera 中将我的 hdfs 内存从 50 GB 扩展到 200 GB。 我正在使用具有 300 GB 可用空间的 vm,但 hdfs 仅配置为在 hdfs 上使用 50 GB。 我的 dfs.namenode.name.dir 指向默认的 dfs/nn

<name>dfs.namenode.name.dir</name>
    <value>file:///dfs/nn</value>

我的 hdfs dfsadming -report 给了我:

[root@localhost conf.cloudera.hdfs] hdfs dfsadmin -report
Configured Capacity: 55531445863 (51.72 GB)
Present Capacity: 6482358272 (6.04 GB)
DFS Remaining: 3668803584 (3.42 GB)
DFS Used: 2813554688 (2.62 GB)
DFS Used%: 43.40%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

我该怎么办? Redhat 上的文件夹容量是否有上限(比如每个创建的文件夹 50GB)?我应该向 dfs.namenode.name.dir 添加一个新文件夹,并且每个文件夹都会为 hdfs 使用量增加 50GB 吗?

【问题讨论】:

    标签: hadoop hdfs redhat cloudera


    【解决方案1】:

    从下面的资源 - 似乎您需要检查每个节点的dfs.datanode.du.reserved 设置并使用下面的公式来检查磁盘空间是否被正确利用......

    根据属性“dfs.datanode.du.reserved”,它被配置为 使用 4.25 GB,因此我认为现在分配了 4.25 GB 给定节点中的每个数据目录。因为我有两个数据目录 分区,保留空间组合为每个节点 8.5 GB 和 这使每个节点上的配置容量为 23.5 GB(32GB - 8.5GB)。我得出以下公式 === > 配置容量 = 为数据目录分配的总磁盘空间 (dfs.data.dir) - 非 DFS 使用的保留空间 (dfs.datanode.du.reserved)

    Configured-Capacity-quot-shows-less-size-than-the-original

    what-exactly-non-dfs-used-means

    更新:also see...

    dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold - 仅在 dfs.datanode.fsdataset.volume.choosing.policy 设置为 org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 时使用。 - 此设置控制 DN 卷在被视为不平衡之前允许在可用磁盘空间字节方面存在多少差异。如果所有卷的可用空间都在此范围内,则卷将被认为是平衡的,并且将在纯循环的基础上完成块分配。

    dfs.datanode.available-space-volume-choosing-policy.balanced-space-preference-fraction - 仅在 dfs.datanode.fsdataset.volume.choosing.policy 设置为 org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 时使用。 - 此设置控制将多少百分比的新块分配发送到可用磁盘空间比其他卷更多的卷。此设置应在 0.0 - 1.0 范围内,但在实践中为 0.5 - 1.0,因为没有理由希望具有较少可用磁盘空间的卷接收更多块分配

    【讨论】:

    • 抱歉,这并不能解决问题。我已经更改了已经为 3 的 dfs.datanode.du.reserved,现在它是 1 GB。即使 hdfs 现在显示 53。但我仍然找不到将其扩展到 200 GB 的地方。 [root@localhost conf.cloudera.hdfs]# hdfs dfsadmin -report Configured Capacity: 57591996416 (53.64 GB) Present Capacity: 6875172864 (6.40 GB) DFS Remaining: 4062359552 (3.78 GB) DFS Used: 2812813312 (2.62 GB) DFS Used%: 40.91% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0
    • 我试过了,没有效果。它一直说它只有 53 GB,即使在将设置更改为 55GB 和选择策略之后也很难。
    猜你喜欢
    • 2018-07-30
    • 1970-01-01
    • 2013-02-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多