运行 fgrep 多核 mac os x

Question

我在我的 8 核 Mac OS X 上运行这个命令：

for i in $(cat file1);do grep "$i" file2; done > output.txt

我的文件 2 有 900 万行，所以需要很多时间。

是否可以使用所有内核更快地完成这项工作？

Answer 1

你可以试试这个awk：

awk 'FNR==NR {a[$0];next} {for (i in a) if ($0~i) print}' file1 file2  > output.txt

但我猜Paul R 发布的grep 会更快。

grep -f file1 file2 > output.txt 

Answer 2

基于http://www.gnu.org/software/parallel/man.html#EXAMPLE:-Grepping-n-lines-for-m-regular-expressions

parallel -k parallel --pipepart --block 100M -a file2 -k grep {} :::: file1