【问题标题】:Removing case-sensitive stopwords删除区分大小写的停用词
【发布时间】:2018-06-20 20:08:01
【问题描述】:

我正在预处理文本,并希望删除德语中的常见停用词。这几乎适用于以下代码 [final_wordlist 作为示例数据]:

from nltk.corpus import stopwords

final_wordlist =['Status', 'laufende', 'Projekte', 'bei', 'Stand', 'Ende', 'diese', 'Bei']
stopwords_ger = stopwords.words('german')
filtered_words = [w for w in final_wordlist if w not in stopwords_ger]
print(filtered_words)

这会产生:

['Status', 'laufende', 'Projekte', 'Stand', 'Ende', 'Bei']

但是正如你所看到的,大写的“Bei”没有被删除(因为它应该被删除),因为来自 nltk 的停用词都是小写的。有没有一种简单的方法可以不区分大小写地删除所有停用词?

【问题讨论】:

    标签: python nltk case-insensitive stop-words


    【解决方案1】:

    试试这个:filtered_words = [w for w in final_wordlist if w.lower() not in stopwords_ger]

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-11-09
      相关资源
      最近更新 更多