从语料库中剥离标点符号时出错

Question

提前感谢您的帮助。我正在尝试编写一个脚本来查看语料库，找到所有三元组并将它们连同它们的相对频率一起打印到一个 csv 文件中。我已经走了很远，但一直遇到一个问题。由于撇号，它认为连词是两个词，因此它将doesn't 拆分为doesn t，这会弄乱三元组计数。我试图通过从原始变量中删除所有标点符号来解决这个问题，我相信这只是一个包含我的语料库中所有文本的长字符串：

    raw = raw.translate(None, string.punctuation)

但这给了我一个错误，上面写着：NameError: name 'string' is not defined

但我不认为这样使用时必须定义字符串？这是否意味着 raw 不是字符串？如何解决这个问题？

#this imports the text files in the folder into corpus called speeches
corpus_root = '/Users/root'
speeches = PlaintextCorpusReader(corpus_root, '.*\.txt') 
print "Finished importing corpus"
tokenizer = RegexpTokenizer(r'\w+')
raw = speeches.raw().lower()
raw = raw.translate(None, string.punctuation)
finalwords = raw.encode['ascii','xmlcharrefreplace']
tokens = tokenizer.tokenize(finalwords)
tgs = nltk.trigrams(tokens)
fdist = nltk.FreqDist(tgs)
minscore = 40
numwords = len(finalwords)
print "Words in corpus:" 
print numwords
c = csv.writer(open("TPNngrams.csv", "wb"))
for k,v in fdist.items():
    if v > minscore:
        rf = Decimal(v)/Decimal(numwords)
        firstword, secondword, thirdword = k
        trigram = firstword + " " + secondword + " " + thirdword
        results = trigram,v,rf
        c.writerow(results)
        print firstword, secondword, thirdword, v, rf

print "All done."

Answer 1

如果您想在单词中保留撇号，另一种选择

您不必将撇号分开。只需尝试更改标记器上的正则表达式以包含撇号：

tokenizer = RegexpTokenizer(r'\w+')

尝试：

tokenizer = RegexpTokenizer(r'(\w|')+')

或者在这里看看这个回复可能会更好：

Regex to match words and those with an apostrophe

Answer 2

但我认为这样使用时不必定义字符串？

与 Python 中的所有其他模块一样，您需要在使用之前导入 string。

这是否意味着 raw 不是字符串？

不要将string 模块与类型字符串混淆。是的。 raw 可能是字符串类型。

如何解决这个问题？

在文件开头添加import string。

Answer 3

如果您想使用标点符号，您需要导入如下标点符号：

python3：从字符串导入标点符号

python2：导入字符串

此链接也可能有所帮助：

https://www.geeksforgeeks.org/string-punctuation-in-python/