【问题标题】:Finding if a set of lines exists in a large text file查找大型文本文件中是否存在一组行
【发布时间】:2015-10-14 06:58:28
【问题描述】:

如何在 windows 中找出两个文件的交集?

文本文件 A:100GB 文本文件 B:10MB

我能想到的就是使用python

我会将文本文件 B 中的行读入 python 的内存,并与文本文件 A 中的每一行进行比较。

我想知道是否有任何方法可以通过 linux/windows 中的命令提示符来完成。

【问题讨论】:

    标签: python linux windows bash shell


    【解决方案1】:

    如果重复无关紧要,那么这个命令会做到:

    sort <(sort file1 | uniq) <(sort file2 | uniq) | uniq -d

    【讨论】:

    • 嗨,你能解释一下它的作用吗?
    • @aceminer,所以您不在乎较小的文件是否全部放在较大的文件中?
    猜你喜欢
    • 2017-10-14
    • 1970-01-01
    • 1970-01-01
    • 2011-01-09
    • 1970-01-01
    • 2011-08-11
    • 1970-01-01
    • 2017-10-26
    • 2013-02-12
    相关资源
    最近更新 更多