我有大约 200MB 的文本文件 (rawtext.txt)，并且在文本文件 (stopwords.txt) 中有一个停用词列表。
I
a
about
an
are
as
at
be
by
com
for
...
我想删除文本语料库中的停用词。但是怎么做？最快最简单的方法是什么？更喜欢像 sed 或 tr 这样的命令行。不想使用 python 或 NLTK。
有人可以帮忙吗？我使用的是 Mac OSX（不是 linux）
【问题讨论】：
将您的输入转换为逐行格式，您可以使用grep 对其进行过滤：
tr -s '[:blank:]' '\n' < rawtext.txt | fgrep -vwf stopwords.txt
这样您就不必构建任意大的正则表达式，如果您的停用词列表很大，这可能是个问题。
【讨论】：
tr 调用完成。你试过了吗？ （如果不清楚：rawtext.txt 是您的原始文件；它被tr 更改为逐行字，并用fgrep 过滤。）
tr 命令是否执行它应该执行的操作？在一个短文件上测试它并检查输出。如果不是，请查看手册并查看tr 是否接受:blank: 字符类（如果不是，请使用tr -s ' ' '\n' 试试运气）。
一个可行的解决方案（也在 Mac OS 中）：
cat rawtext.txt | grep -o -E '[a-zA-Z]{3,}' | tr '[:upper:]' '[:lower:]' | sort | uniq | grep -vwFf stopwords.txt
这将仅提取 3 个字母的单词（不带数字），转换为小写字母，排序并获取唯一值，然后使用停用词进行过滤。
确保以相同的方式处理 stopwords.txt（例如小写）。
【讨论】：