查找两个文件之间的公共行及其行号

Question

我想找到两个文件（大文件）之间的公共行，一个有 9000 万行，1 个有 100000 行以及它们的行号。

comm -12 file1 file2

给了我常用的行，但我也想知道各个文件的行号

Answer 1

此解决方案适用于我的小型测试文件 - 我不确定它在包含 9000 万行的文件上会如何执行。

tab=` printf '\t' `
join -t"$tab" -j2 <( cat -n file1 ) <( cat -n file2 )

这是有效的，因为cat -n 在每行前面添加了一个空格填充的数字，后跟一个制表符。 join 然后找到只查看第一个选项卡之后的内容的公共行。

连接完成后，您应该会看到公共行，每行后跟两个数字。第一个数字是 file1 中的行号，第二个是 file2 中的行号。

警告：如果文件还没有制表符，这将起作用。如果不是这种情况，您可以使用 sed 将第一个制表符转换为“安全”字符。

safe="|"
join -t"$safe" -j2 \
  <( cat -n file1 | sed -e "s:\t:$safe:" ) \
  <( cat -n file2 | sed -e "s:\t:$safe:" )

此外，根据join 的实现方式，您可能希望在第一个进程替换中列出较小的文件，在第二个进程替换中列出较大的文件。这样，较小的文件可能都适合内存，而较大的文件可能会被扫描并有效地选择匹配行。我不知道是不是这样，但可能值得一试。

Answer 2

你可以试试：

awk '
FNR==NR {
    a[$0]++
    next
}
$0 in a {
    print
    delete a[$0]
}' file1 file2

如果您还想获取行号，可以在 gawk 版本 4 中使用数组数组，例如：

FNR==NR {
    a[$0][FNR]++
    file1=FILENAME
    next
}
FNR==1 {
    file2=FILENAME
}

$0 in a {
    b[$0][FNR]++
}

END {
    for(i in b) {
        print "Line: " i
        print " Line numbers in "file1":"
        printf "  "
        for (j in a[i])
            printf "%s,", j
        print ""
        print " Line numbers in "file2":"
        printf "  "
        for (j in b[i])
            printf "%s,", j
        print ""
    }
}

Answer 3

您可以通过diff 到达一半。这会显示file1 中的行号，但不幸的是，似乎没有任何选项可以显示file2 中的行号 - 似乎man diff 假设未更改的行也在相同 两个文件中的行，这与它通常的工作方式相反。

diff --unchanged-line-format=$'%dn\t%L' --old-line-format='' --new-line-format='' file1 file2

使用unified diff的另一半测量：

diff -u file1 file2

这显示了不同行和一些上下文，这意味着你可以推断常用文本在哪一行。以@@ 开头的行为您提供行信息。例如：

@@ -1,5 +2,10 @@

这意味着以 - 或 diff 中的空格开头的下一行是 file1 中的第 1 行，而以 + 或空格开头的下一行是 file2 中的第 2 行。为了您的目的，您可以忽略逗号后面的数字。