如何在循环中使用 awk 命令生成多个细化数据文件

Question

我有几个包含 8 列和 120,000 行的大型数据文件。现在我想从第 100 行开始每 200 行保留 1 行。我的脚本文件 thin.sh 为：

awk '(NR%200==100)' original_file > thinned_file

但是，现在我有 30 个原始文件，这意味着我必须一点一点地修改命令 30 次，并且原始文件的名称相似：

data.0000.dat, data.0001.dat data.0002.dat, ..., data.0029.dat

我想必须有某种方法可以将awk 命令嵌入到循环中以实现我的目标，可能类似于：

for(i=0;i<30;i++);
do
    awk '(NR%200==100)' data.$i.dat > data.$i_thinned.dat
done

但我意识到文件名中$i 前面有两个数字00。我可以使用sprintf("%s") 什么的吗？如果是这样，如何安排awk和sprinf的顺序？ 我使用 ubuntu 和 bash。

Answer 1

带序列：

for i in $(seq -f %04g 1 29); do
  awk 'NR % 200 == 100' "data.${i}.dat" > "data.${i}_thinned.dat"
done

也可以使用 bash：

for i in {0001..0029}; do

在第一个 sn-p 中，引号并不是绝对必要的，因为我们知道 $i 不包含任何恶意内容，但最好对 shell 脚本中的扩展保持偏执。 "data.${i}_thinned.dat" 中的大括号是必需的，因此 shell 不会查找要使用的变量 $i_thinned。它们在"data.${i}.dat" 中并不是绝对必要的，因为shell 变量名称中不能包含.，但一致性很好。

Answer 2

你只需要：

awk 'FNR==1{close(out); out=FILENAME; sub(/\.dat/,"_thinned&",out)} (FNR%200==100){print > out}' data.[0-9][0-9][0-9][0-9].dat

我使用data.[0-9][0-9][0-9][0-9].dat 作为文件名通配模式而不是data.*.dat，以防您在之前生成所有“_thinned”文件的同一目录中重新运行脚本。

Answer 3

成分（GAWK）

1 FNR - 当前文件中的记录号
1 match - 匹配正则表达式字符串并可以将组捕获到数组中。
1 print - 打印以下数据（如果没有提供则默认为当前记录）
1 *.dat - 当前导向器中所有以 .dat 结尾的文件。

---

说明

1. 在条件块中，检查当前文件中的当前记录号除以 200 后的余数是否为 100。
2. 如果是，则运行下一个块{..}
3. 获取当前文件名并匹配到最后一个点，使用(.*) 将之前的所有内容捕获到数组a 中。
4. 使用捕获的日期a[1] 和扩展名_thinned.dat 打印到文件中
5. 最后在末尾加上*.dat，读取当前目录下的所有.dat文件

---

结果代码

gawk '(FNR%200==100){match(FILENAME,/(.*)\./,a);print >(a[1]"_thinned.dat")}' *.dat

---