我们正在建立一个科学论文数据库并对摘要进行分析。目标是能够说“对这个话题的兴趣比去年增加了 20%”。我已经尝试过关键词分析，但并不真正喜欢结果。所以现在我正试图转移到短语和单词之间的接近度，并意识到我已经不知所措了。谁能指出我对此的更好解决方案，或者至少给我一个好词让谷歌了解更多信息？
使用的语言是 python，但我认为这不会真正影响您的答案。提前感谢您的帮助。
【问题讨论】：
标签： string data-mining nlp
这是一个很大的主题，但是可以通过 NLTK 工具包找到像这样的 NLP 很好的介绍。这是用于教学和使用 Python - 即。适合涉猎和实验。 NLTK 网站上还有一本非常好的开源书籍（也是 O'Reilly 的纸质版）。
【讨论】：
这只是一个猜测；不确定这种方法是否有效。如果您正在查看短语和单词的接近度，也许您可以建立马尔可夫链？这样您就可以了解某些短语/单词相对于其他短语/单词的频率（基于您的马尔可夫链的顺序）。
因此，您构建了 2009 年的马尔可夫链和频率分布。然后在 2010 年底构建另一个并比较（某些短语和单词的）频率。不过，您可能需要对文本进行规范化。
除此之外，我想到的是自然语言处理技术（围绕该主题有很多文献！）。
【讨论】：