【发布时间】:2015-06-13 09:53:24
【问题描述】:
我想将 zip 文件中的太多小文件(例如 200k 文件)从本地计算机传输到 HDFS。当我解压缩 zip 文件并将文件传输到 HDFS 时,需要很长时间。无论如何我可以将原始 zip 文件传输到 HDFS 并在那里解压缩吗?
【问题讨论】:
-
你为什么会更快?
-
使用 hadoop dfs -put 命令从本地机器传输许多小文件需要时间。我收到了几条警告消息,因为这需要很长时间,而且亚马逊还向我收取了更多费用。在同一个文件系统上解压缩文件通常比从文件系统复制到另一个文件要快。