NLTK Word Tokenize 不返回任何内容

【问题标题】：NLTK Word Tokenize doesn't return anythingNLTK Word Tokenize 不返回任何内容
【发布时间】：2019-11-20 03:24:34
【问题描述】：

我正在尝试对一个句子进行标记，并且我认为代码是正确的但没有输出。可能是什么问题呢？这是代码。

import nltk
from nltk.tokenize import word_tokenize
text = word_tokenize("And now for something completely different")
nltk.pos_tag(text)

text = word_tokenize("They refuse to permit us to obtain the refuse permit")
nltk.pos_tag(text)

【问题讨论】：

看看kaggle.com/alvations/basic-nlp-with-nltk

标签： nltk tokenize pos-tagger

【解决方案1】：

似乎缺少以下软件包。

朋克特
averaged_perceptron_tagger

注意：您需要第一次下载它们。

试试这个..

import nltk

nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')

from nltk.tokenize import word_tokenize
text = word_tokenize("And now for something completely different")
print(nltk.pos_tag(text))

text = word_tokenize("They refuse to permit us to obtain the refuse permit")
print(nltk.pos_tag(text))

print("----End of execution----")

Try this on IDE

【讨论】：