在 docker 上的 Cloudera QuickStart 中扩展 HDFS 内存答案

【问题标题】：Expanding HDFS memory in Cloudera QuickStart on docker在 docker 上的 Cloudera QuickStart 中扩展 HDFS 内存
【发布时间】：2018-07-30 15:30:43
【问题描述】：

我尝试使用 Cloudera QuickStart Docker Image，但似乎 hdfs 上没有可用空间（0 字节）。

容器启动后

 docker run --hostname=$HOSTNAME -p 80:80 -p 7180:7180 -p 8032:8032 -p      8030:8030 -p 8888:8888 -p 8983:8983 -p 50070:50070 -p 50090:50090 -p 50075:50075 -p 50030:50030 -p 50060:50060 -p 60010:60010 -p 60030:60030 -p 9095:9095 -p 8020:8020 -p 8088:8088 -p 4040:4040 -p 18088:18088 -p 10020:10020 --privileged=true -t -i cloudera/quickstart /usr/bin/docker-quickstart

我可以启动 Cloudera Manager

$/home/cloudera/cloudera-manager --express

并登录到 web gui。在这里我可以看到 dfs.datanode.data.dir 是默认的 /var/lib/hadoop-hdfs/cache/hdfs/dfs/data

在控制台上我的 hdfs dfsadmin -report 给了我：

hdfs dfsadmin -report 
Safe mode is ON
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

但是当我查看容器时

df -h
Filesystem      Size  Used Avail Use% Mounted on
overlay          63G  8.3G   52G  14% /
tmpfs            64M     0   64M   0% /dev
tmpfs           5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda1        63G  8.3G   52G  14% /etc/resolv.conf
/dev/sda1        63G  8.3G   52G  14% /etc/hostname
/dev/sda1        63G  8.3G   52G  14% /etc/hosts
shm              64M     0   64M   0% /dev/shm
cm_processes    5.9G  7.8M  5.9G   1% /var/run/cloudera-scm-agent/process

如何为 hfs 添加额外空间？

【问题讨论】：

标签： hadoop docker hdfs cloudera

【解决方案1】：

这里可以看到dfs.datanode.data.dir是默认的/var/lib/hadoop-hdfs/cache/hdfs/dfs/data

您可以使用卷挂载到该目录。

更重要的是，在容器中运行 df 会产生误导，并且在 Mac 或 Windows 上，Docker qcow2 文件的大小一开始就有限。

How do you get around the size limitation of Docker.qcow2 in the Docker for Mac?

看起来你没有运行数据节点

【讨论】：