从列表中删除停用词并使用 NLTK 读取到 TXT

Question

你们。我一直在尝试从已读取 pdf 的列表中删除停用词，但每当我使用 nltk 从列表或新列表中删除这些停用词时，它都会在 TXT 文件中将原始列表返回给我。我制作了一个单独的程序来测试停用词功能是否有效，它在那里工作正常，但由于某种原因在这种情况下不是。

还有更好的方法吗？任何帮助将不胜感激。

import PyPDF2 as pdf

import nltk
from nltk.corpus import stopwords

stopping_words = set(stopwords.words('english'))

stop_words = list(stopping_words)

# creating an object 
file = open("C:\\Users\\Name\\Documents\\Data Analytics Club\\SampleBook-English2-Reading.pdf", "rb")

# creating a pdf reader object
fileReader = pdf.PdfFileReader(file)

# print the number of pages in pdf file
textData = []

for pages in fileReader.pages:
    theText = pages.extractText()

    # for char in theText:
    #   theText.replace(char, "\n")

    textData.append(theText)

final_list = []

for i in textData:
    if i in stopwords.words('english'):
        textData.remove(i)
    final_list.append(i.strip('\n'))

# filtered_word_list = final_list[:] #make a copy of the word_list

# for word in final_list: # iterate over word_list
#   if word in stopwords.words('english'):
#       final_list.remove(word) # remove word from filtered_word_list if it is a stopword

# filtered_words = [word for word in final_list if word not in stop_words]

# [s.strip('\n') for s in theText]
# [s.replace('\n', '') for s in theText]


# text_data = []

# for elem in textData:
#         text_data.extend(elem.strip().split('n'))  

# for line in textData:
#     textData.append(line.strip().split('\n'))
#--------------------------------------------------------------------

import os.path

save_path = "C:\\Users\\Name\\Documents\\Data Analytics Club"

name_of_file = input("What is the name of the file: ")

completeName = os.path.join(save_path, name_of_file + ".txt")   

file1 = open(completeName, "w")

# file1.write(str(final_list))

for line in final_list:
    file1.write(line)

file1.close()

Answer 1

问题出在这一行

if i in stopwords.words('english'):
    textData.remove(i)

您只删除了该单词的一次出现。如果您阅读here，它只会删除第一次出现的单词。

您可能想要删除它的是：

Python 2

filter(lambda x: x != i, textData)

Python 3

list(filter(lambda x: x != i, textData))

编辑

所以我意识到您实际上是在迭代要从中删除元素的列表时已经很晚了。所以，你可能不想这样做。更多信息，请参考here

相反，你想做的是：

for i in set(textData):
    if i in stopwords.words('english'):
        pass
    else
        final_list.append(i.strip('\n'))

编辑 2

所以显然问题来自这里，需要解决：

for pages in fileReader.pages:
    theText = pages.extractText()
    words = theText.splitlines()
    textData.append(theText)

但是，对于我测试过的文件，它仍然在同一个句子中出现了间距和合并单词的问题。它给了我诸如'sameuserwithinacertaintimeinterval(typicallysettoa'和'bedirectionaltocapturethefactthatonestorywasclicked'之类的词

话虽如此，问题在于 PyPDF2 类。您可能希望求助于其他读者。如果仍然没有帮助，请发表评论