【发布时间】：2013-10-10 06:11:04
【问题描述】：
我正在使用 Hadoop 解析大量（大约 100 万个）文本文件，每个文件都包含大量数据。 首先，我使用 Eclipse 将所有文本文件上传到 hdfs。但是在上传文件时，我的 map-reduce 操作导致以下目录 C:\tmp\hadoop-admin\dfs\data 中有大量文件。 那么，有没有什么机制可以缩小我的 HDFS（基本上是上面提到的驱动器）的大小。
【问题讨论】：
【发布时间】：2013-10-10 06:11:04
【问题描述】：
要缩小 HDFS 大小，您可以将更大的值（以字节为单位）设置为以下 hdfs-site.xml 属性
dfs.datanode.du.reserved=0
您还可以通过启用地图输出压缩来减少地图输出生成的数据量。
map.output.compress=true
希望有帮助。
【讨论】：