用于删除文本文件中的停用词的快速 shell 命令

Question

我有一个 2GB 的文本文件。我正在尝试从此文件中删除频繁出现的英语停用词。

我有 stopwords.txt 包含这样的内容..

a
an
the
for
and
I

使用 tr、sed 或 awk 等 shell 命令执行此操作的快速方法是什么？

Answer 1

这是一个使用命令行和perl的方法：

将下面的文字另存为replacesw.sh：

#! /bin/bash
MYREGEX=\\b\(`perl -pe 's/\n/|/g' $1`\)\\b
perl -pe "s/$MYREGEX//g" $2

然后，如果您将上面的文件保存为 stopwords.txt，并有另一个名为 testtext.txt 的文件（例如）包含：

This is a file with the stopwords from the stopwords.txt for testing.
More than one line in the file, for a better test.

那么在命令行下面会去掉stopwords:

KBs-MBP13:temp kbenoit$ ./replacesw.sh stopwords.txt testtext.txt 
This is  file with  stopwords from  stopwords.txt  testing.
More than one line in  file,   better test.

您可能需要先chmod u+x replacesw.sh。