在两个文件的列中查找具有相同值的行

Question

我有两个文件（数百万列）

File1.txt，~4k 行

some_key1 some_text1
some_key2 some_text2
...
some_keyn some_textn

File2.txt，约 20 M 行

some_key11 some_key11 some_text1
some_key22 some_key22 some_text2
...
some_keynn some_keynn some_textn

当File1.txt 中的第 2 列和File2.txt 中的第 3 列完全匹配时，我想从两个文件中打印出特定的行。

编辑

这个我试过了（我忘了写），但它不起作用

awk 'NR{a[$2]}==FNR{b[$3]}'$1 in a{print $1}' file1.txt file2.txt

Answer 1

假设您的数据集在两个维度（行和列）上都很大。然后你想使用join。要使用join，您必须先对数据进行排序。类似的东西：

<File1.txt sort -k2,2 > File1-sorted.txt
<File2.txt sort -k3,3 -S1G > File2-sorted.txt

join -1 2 -2 3 File1-sorted.txt File2-sorted.txt > matches.txt

sort -k2,2 的意思是'对整行进行排序，使第二列的值按升序排列。 join -1 2 表示“第一个文件中的键是第二列”。

如果您的文件大于 100 MB，则可以通过 -S 选项为 sort 分配额外的内存。经验法则是分配输入大小的 1.3 倍以避免sort 进行任何磁盘交换。但前提是您的系统可以处理。

---

如果您的一个数据文件非常小（比如最多 100 行），您可以考虑执行类似的操作

<File2.txt fgrep -F <( <File1.txt cut -f2 ) > File2-matches.txt

要避免sort，但是您必须从该文件中查找“密钥”。

使用哪一个的决定与数据库世界中的“散列连接”和“合并连接”非常相似。

Answer 2

您需要修复您的awk 程序

如果字段 1 (file1) 存在于字段 3 (file2) 中，则打印 file2 中的所有记录：-

awk 'NR==FNR{A[$2];next}$3 in A' file1.txt file2.txt
some_key11 some_key11 some_text1
some_key22 some_key22 some_text2
...
some_keynn some_keynn some_textn

如果字段 1 (file1) 存在于字段 3 (file2) 中，则仅打印 file2 中的字段 1：-

awk 'NR==FNR{A[$2];next}$3 in A{ print $1 }' file1.txt file2.txt
some_key11
some_key22
...
some_keynn