将 gawk 脚本应用于文件夹中的多个文件

Question

我想使用以下 awk 行来删除文本文件中的每个偶数行（并保留奇数行）。

awk 'NR%2==1' filename.txt > output

问题是我很难在 awk 中正确循环或构建一个 shell 脚本以将其应用于文件夹中的所有 *.txt 文件。我试着用这个单线

gawk 'FNR==1{if(o)close(o);o=FILENAME;
sub(/\.txt/,"_oddlines.txt",o)}{NR%2==1; print>o}'  

但这并没有删除偶数行。而且我对 shell 脚本更不熟悉。我在win7 或cygwin 下使用gawk 和bash。非常感谢任何想法。

Answer 1

您现有的 gawk one-liner 非常接近。这里它被格式化为更易读的脚本：

FNR == 1 {
    if (o)
        close(o)
    o = FILENAME
    sub(/\.txt/, "_oddlines.txt", o)
}
{
    NR % 2 == 1
    print > o
}

这应该使错误显而易见¹。所以现在我们删除了那个错误：

FNR == 1 {
    if (o)
        close(o)
    o = FILENAME
    sub(/\.txt/, "_oddlines.txt", o)
}
NR % 2 == 1 {
    print > o
}

$ awk -f foo.awk *.txt

它可以工作（当然你可以重新单行化它）。

（通常我会像其他答案一样使用for 来执行此操作，但我想向您展示您有多接近！）

---

¹每条评论，可能不是很明显？

Awk 的基本语言结构是“模式-动作”语句。 awk program 只是这些语句的列表。 “模式”之所以如此命名，是因为最初它们大多是类似 grep 的正则表达式模式：

$ awk '/^be.*st$/' < /usr/share/dict/web2
beanfeast
beast
[snip]

（除了斜线，这基本上只是运行grep，因为它使用默认操作print。）

模式实际上可以包含两个地址，但更典型的是使用一个，例如在这些情况下。不包含在斜线内的模式允许像 FNR == 1（File-specific Nnumber of this Record 等于 1）或 NR % 2 == 1（Nnumber of this Record—cumulative跨所有文件！-mod 2 等于 1)。

不过，一旦您打开大括号，您就进入了“动作”部分。现在NR % 2 == 1 只需计算结果（真或假），然后将其丢弃。如果您完全省略“模式”部分，则“动作”部分将在 每个 输入行上运行。所以这会打印每一行。

请注意，测试NR % 2 == 1 正在测试累积 记录号。因此，如果某个文件的行数为奇数（“记录”），则下一个文件将打印出每一行 偶数 行（这将持续到您遇到另一个行数为奇数的文件)。

例如，假设两个输入文件是A.txt 和B.txt。 awk 开始读取A.txt，并将第一行的FNR 和NR 都设置为1，例如file A, line 1。由于FNR == 1 第一个“动作”已经完成，设置o。然后 awk 测试第二个模式。 NR 是 1，所以 NR % 2 是 1，所以第二个“动作”完成，将该行打印到 A_oddlines.txt。

现在假设文件A.txt 只包含那一行。 awk 现在继续归档B.txt，重置FNR，但留下NR 累积。 B 的第一行可能是 file B, line 1。 awk 尝试第一个“模式”，实际上是FNR == 1，所以这会关闭旧的o 并设置新的。

但是NR 是2，因为NR 在所有 输入文件中是累积的。所以第二个模式（NR % 2 == 1）计算2 % 2（即0）并比较== 1，这是错误的，因此awk跳过文件B.txt的第1行的第二个“动作”。第 2 行，如果存在，将有 FNR == 2 和 NR == 3，因此该行将被复制出来。

（我最初认为，由于您的脚本接近工作，您打算这样做并且只是在语法上卡住了一点。）

Answer 2

使用GNU awk，您可以这样做：

$ awk 'FNR%2{print > (FILENAME".odd")}' *.txt

这将为当前目录中仅包含奇数行的每个 .txt 文件创建一个 .odd 文件。

---

但是sed 在简洁性方面占了上风。以下GNU sed 命令将删除所有偶数行并将扩展名为.bck 的旧文件存储在当前目录中的所有.txt 文件中：

$ sed -ni.bck '1~2p' *txt

演示：

$ ls
f1.txt  f2.txt

$ cat f1.txt
1
2
3
4
5

$ cat f2.txt
6
7
8
9
10

$ sed -ni.bck '1~2p' *txt

$ ls
f1.txt  f1.txt.bck  f2.txt  f2.txt.bck

$ cat f1.txt
1
3
5

$ cat f1.txt.bck
1
2
3
4
5

$ cat f2.txt
6
8
10

$ cat f2.txt.bck
6
7
8
9
10

如果您不备份文件，那么只需：

$ sed -ni '1~2p' *txt

Answer 3

就个人而言，我会使用

for filename in *.txt; do
    awk 'NR%2==1' "$filename" > "oddlines-$filename"
done

编辑：引用文件名

Answer 4

你可以试试 for 循环：

#!/bin/bash

for file in dir/*.txt
do    
   oddfile=$(echo "$file" | sed -e 's|\.txt|_odd\.txt|g')  #This will create file_odd.txt
   awk 'NR%2==1' "$file" > "$oddfile"  # This will output it in the same dir.
done

Answer 5

您的问题是NR%2==1 在{NR%2==1; print>o} '动作块' 内并且没有作为'条件'启动。改用这个：

gawk 'FNR==1{if(o)close(o);o=FILENAME;sub(/\.txt/,"_oddlines.txt",o)};
     FNR%2==1{print > o}' *.txt