awk 如何处理 HDFS 的目录？

Question

我想把HDFS的目录名和awk结合起来。这可行吗？目录名，而不是文件名。 这是我在本地的 awk 工作正常：

awk 'NR <= 1000 && FNR == 1{print FILENAME}' ./* 

然后我想将它与 hadoop fs -ls 结合起来，如下所示：

hadoop fs -ls xxx/* | xargs awk 'NR <= 1000 && FNR == 1{print FILENAME}'

但是告诉我：awk: cmd. line:2: 致命：无法打开文件 `-rwxrwxrwx' 进行读取（没有这样的文件或目录）

我也试过这样的：

awk 'NR <= 1000 && FNR == 1{print FILENAME}' < hadoop fs -ls xxx/*
awk 'NR <= 1000 && FNR == 1{print FILENAME}' < $(hadoop fs -ls xxx/*)
awk 'NR <= 1000 && FNR == 1{print FILENAME}' $(hadoop fs -ls xxx/*)

这些都失败了，毫不奇怪，我认为目录中的 awk 执行文件需要读取每个文件，而不是像文件的内容那样可以将其作为流传递给 awk。我对吗？谁能给我一个可行的解决方案来做到这一点？谢谢，提前。

Answer 1

在我看来，您想访问 hadoop 文件系统上的文件。这是一个虚拟文件系统，您只能访问文件的元数据。如果要对文件进行操作，那么首先将文件复制到本地也很重要。这可以使用hadoop fs -get 来完成。创建本地副本后，您可以开始对文件进行操作。但是，还有另一种使用 hadoop fs -cat 的方法。

通常我会说Never parse the output of ls，但是对于 Hadoop，您在这里别无选择。 hadoop fs -ls 的输出与 Unix/Linux 命令ls 的标准输出不同。它与ls -l 密切相关，并返回以下输出：

permissions number_of_replicas userid groupid filesize modification_date modification_time filename

使用它并将其传递给awk，我们会得到一个可用文件的列表。所以我们现在可以设置一个while循环：

c=0
while read -r file; do
   [ $c -le 1000 ] && echo "${file}"
   nr=$(hadoop fs -cat "${file}" | wc -l)
   ((c+=nr))
done < <(hadoop fs -ls xxx/* | awk '!/^d/{print substr($0,index($8,$0))}')

注意：您的初始错误是由于 hadoop fs -ls 的非类 unix 输出。程序awk收到了一个文件名-rwxrwxrwx，这实际上是文件本身的权限。