NLTK 和标记化缺少一些东西

Question

这是我尝试标记希腊段落的代码的一部分。

doc = "Ο υπουργός Οικονομικών Γιάννης Στουρνάρας διαβίβασε την Τετάρτη στον πρόεδρο της αρμόδιας Αρχής κατά του ξεπλύµατος µαύρου χρήµατος, Παναγιώτη Νικολούδη, το αίτημα του υπουργού Υγείας Αδωνι Γεωργιάδη για κατά προτεραιότητα έλεγχο του «πόθεν έσχες» των διοικητών και υποδιοικητών που υπηρέτησαν στο Εθνικό Σύστημα Υγείας από το 2000 έως και σήμερα."

tokens = nltk.WordPunctTokenizer().tokenize(doc)

结果缺少几个单词，例如"Αρχής" 或"έσχες"。

如果我将这个在线工具用于相同的标记化模块，文字仍然存在。

online tool

到目前为止我所了解的是，在这段代码之后，我还有另一行删除了所有带有

如果我打印标记，例如单词"έσχες" 标记为["έ","σχ","ες"]。为什么这些词也被标记了？我认为这个模块将句子分成单词。

Answer 1

当您 decode 在将输入传递给 NLTK 之前将其输入到 Unicode 时，它​​会起作用。假设它被编码为 UTF-8：

>>> doc = doc.decode("utf-8")
>>> print(doc)
Ο υπουργός Οικονομικών Γιάννης Στουρνάρας διαβίβασε την Τετάρτη στον πρόεδρο της αρμόδιας Αρχής κατά του ξεπλύµατος µαύρου χρήµατος, Παναγιώτη Νικολούδη, το αίτημα του υπουργού Υγείας Αδωνι Γεωργιάδη για κατά προτεραιότητα έλεγχο του «πόθεν έσχες» των διοικητών και υποδιοικητών που υπηρέτησαν στο Εθνικό Σύστημα Υγείας από το 2000 έως και σήμερα.
>>> tokens = nltk.WordPunctTokenizer().tokenize(doc.decode("utf-8"))
>>> for t in tokens:
...     print(t, end=" ")
... print()
... 
Ο υπουργός Οικονομικών Γιάννης Στουρνάρας διαβίβασε την Τετάρτη στον πρόεδρο της αρμόδιας Αρχής κατά του ξεπλύµατος µαύρου χρήµατος , Παναγιώτη Νικολούδη , το αίτημα του υπουργού Υγείας Αδωνι Γεωργιάδη για κατά προτεραιότητα έλεγχο του « πόθεν έσχες » των διοικητών και υποδιοικητών που υπηρέτησαν στο Εθνικό Σύστημα Υγείας από το 2000 έως και σήμερα . 

编辑：好的，改为decode("iso-8859-7")。