【发布时间】:2011-06-23 05:05:32
【问题描述】:
我想将带有一些子目录和文件的整个本地目录复制到 HDFS。 HDFS 已经包含根目录和一些带有文件的子目录。我只想从本地目录添加更新的文件。
Local directory /www/hitlogfetcher/logs/:
day=20--hour=00/files.....
|-hour=01/files.....
|-hour=02/files....
HDFS /hitlogfetcher-test/:
day==20--hour=00/files
|-hour=01/
当我使用命令时: hadoop dfs -copyFromLocal /www/hitlogfetcher/logs/* /hitlogfetcher-test/ 我收到错误消息:
Target /hitlogfetcher-test/day=20 is a directory
- day=20 是一个包含一些子目录和文件的目录
所以我想从目录 hour=01 复制文件,然后复制目录 hour=02 及其文件。
是否可以使用 hadoop shell 命令或其他方式?
【问题讨论】:
标签: hadoop