nltk中的POS标记

Question

嗨，有没有一种有效的方法可以在非常大的文件中标记词性？

 import pandas as pd
 import collections 
 import nltk 

 tokens=nltk.word_tokenize(pandas_dataframe)
 tag1=nltk.pos_tag(tokens)
 counts=collections.counter([y for x,y  in tag1])

我正在尝试在文件中查找最常见的词性，但不知道有更好的方法

Answer 1

通常您需要避开 for 循环、可能的高内存负载和可能的高 CPU 负载。

这是一个使用 python 和 execnet 的 distributed part of speech tagging 示例。