潜在语义分析和词干答案

【问题标题】：Latent Semantic Analysis and Stemming潜在语义分析和词干
【发布时间】：2017-08-05 12:34:07
【问题描述】：

假设任何屈折语言的语料库都非常大。以下内容有意义吗？通过在这样的语料库上应用 LSA，具有相似概念的词在向量空间中会聚在一起，因此指代相同概念的变形词形式在理想情况下应该与其在空间中的引理相同。有了这样的假设，就不需要对查询或语料库进行任何词形还原或词干化。还是我完全错了？

【问题讨论】：

这一切都取决于 - 考虑到 LSA 的生成方式（通过 SVD），LSA 捕获的上下文相似性或类似 word2vec 的方法将无法工作，除非您有足够的数据（以捕获上下文信息) 用于每个单词形式。
那么，理论上来说，对于无限大的文本数据，LSA 可以完成任务——没有理论上的（简单和幼稚；如果抛开维度到无限大的麻烦）约束为什么它不应该工作？
是的，使用“无限”文本，这应该是一个合理的工作。

【解决方案1】：

根据 LSA 的创始人stemming is not necessary。不过，我认为文献中对此存在普遍分歧。我已经阅读了几篇论文，其中发现词干提取可以改善给定信息检索任务的结果。

一般来说，recent research 表明词干提取对主题建模没有帮助，甚至可能会损害主题的连贯性。

【讨论】：