如何在 HDFS 中创建所需大小的空文件？

【问题标题】：How to create empty files of desired size in HDFS?如何在 HDFS 中创建所需大小的空文件？
【发布时间】：2016-12-15 09:22:42
【问题描述】：

我是 Hadoop 和 HDFS 的新手。我相信我的问题与this post 有点相关。本质上，我正在尝试在 HDFS 中创建 10 GB 大小的空文件。 truncate 命令失败，因为指定文件大小大于现有文件大小似乎被禁止。在这种情况下，有哪些替代方案？例如，在 Linux 系统中，可以使用“truncate”命令来设置任意文件大小。

【问题讨论】：

为什么不用truncate创建文件，然后放到HDFS中呢？
你的意思是在传统的 FS 中使用 truncate 创建一个所需大小的空文件，然后摄取到 HDFS 中吗？
是的，我就是这个意思。

标签： file hadoop resize hdfs truncate

【解决方案1】：

您可以使用TestDFSIO直接在HDFS中创建所需大小的文件。

TestDFSIO 程序打包在 jar 文件“hadoop-mapreduce-client-jobclient-tests.jar”中。这个jar是hadoop安装自带的，找到这个jar并在下面的命令中提供这个jar的路径。

hadoop jar <PATH_OF_JAR_hadoop-mapreduce-client-jobclient-tests.jar> TestDFSIO -write -nrFiles 1 -fileSize 10GB

其中“nrFiles”是文件数，“filesize”是要生成的每个文件大小。

文件将在 HDFS 中的路径 /benchmarks/TestDFSIO/ 处生成。

【讨论】：