为什么我的术语文档矩阵末尾缺少字母？

Question

enter image description here我正在创建一个词云。在创建时，我看到许多单词缺少最后一个字母。例如，Movie --> movi, become --> becom

我已经用黄色标记了这些单词。最后一两个字母不见了

Answer 1

对于那些需要这个问题的答案的人 - 我们看到 TDM 中的最后一个字母丢失了，因为当我们对我们的数据执行词干提取时，词干函数将寻找具有相同词根的词。然后将所有这些词设置为其根词。这就是我们将“Movie”视为“Movi”等等的原因。

Answer 2

单词末尾缺少字母是预处理的结果 - 词干。在创建 DTM 或 TDM 之前尽量避免词干，并创建一个没有词干的词云。