awk在循环中使用时不打印任何内容[重复]

Question

我有一堆文件格式如下：file.1.a.1.txt：

A 1
B 2
C 3
D 4

并且正在使用以下命令添加一个包含每个文件名称的新列：

awk '{print FILENAME (NF?"\t":"") $0}' file.1.a.1.txt > file.1.a.1.txt

最终让它们看起来像我想要的那样：

file.1.a.1.txt A 1
file.1.a.1.txt B 2
file.1.a.1.txt C 3
file.1.a.1.txt D 4

但是，我需要在 HPC 上使用 sbatch 提交对多个文件执行此操作。但是当我运行以下作业脚本时：

#!/bin/bash
#<other SBATCH info>
#SBATCH --array=1-10

N=$SLURM_ARRAY_TASK_ID

for j in {a,b,c};
do
    for i in {1,2,3}
    do awk '{print FILENAME (NF?"\t":"") $0}' file.${N}."$j"."$i".txt > file.${N}."$j"."$i".txt
    done
done

awk 正在生成空文件。我曾尝试使用 cat 调用该文件，然后将其通过管道传输到 awk ，但这也没有奏效。

Answer 1

您不需要循环，也不能将 STDOUT 重定向到您从 STDIN 读取的同一文件，如果这样做，您将得到空白文件。

试试这个：

#!/bin/bash

N=$SLURM_ARRAY_TASK_ID

awk '
   NF{
      print FILENAME "\t" $0 > FILENAME".tmp"
   }
   ENDFILE{ # requires gawk
      close(FILENAME".tmp") 
   }' file."$N".{a,b,c}.{1,2,3}.txt

for file in file*.tmp; do
   mv "$file" "${file%.tmp}"
done

请注意，如果您没有 GNU awk 来使用 ENDFILE{}，您可以删除该节并侥幸：

1. 将close() 语句放在print 语句之后（会产生大量开销）
2. 根本不要打电话给close()，只要您没有很多文件，应该没问题。