如何在不使用 nltk 的情况下将停用词附加到文本文件中？

Question

import re 

input_file = open('documents.txt', 'r')
stopwords = open('stopwords.txt', 'r')

word_count = {}
for line in input_file.readlines():
    words = line.strip()
    words = re.findall('\w+', line)
    for word in words: 
      word = word.lower()
      if not word in word_count: 
        word_count[word] = 1
      else: 
        word_count[word] = word_count[word] + 1

word_index = sorted(word_count.keys())
for word in word_index:
  print (word, word_count[word]) 

目前，这段代码输出一个词在 input_files 文本文档中出现的频率。

但是，我需要省略在 stopwords.txt 文档中找到的停用词 - 我无法为此使用 nltk。

从本质上说最有效的方法是什么

#For each line you read in input_file.readlines()
  #if a word in input_file is in stopwords
    #append it
  #else 

Answer 1

您可以使用具有 O(1) 时间复杂度成员资格测试的 set 数据结构：

stop_words = set(["in", "to", "this", ...])
if word in stop_words:
    print("discarded")