链接相关主题 IR

Question

如何通过文本文档链接terms（关键字实体）之间有一定关系。例如，当您搜索一个人时，google 会显示其他与该人相关的人的推荐。

在这张照片中，它找出了配偶、总统候选人和平等指定

我正在使用 频率计数 技术。在同一个文档中出现的两个词越多，它们产生某种关系的机会就越大。但这也会链接文本文档中不相关的术语，例如页面标记、动词和页面引用。

我应该如何改进它，还有其他简单但可靠的技术吗？

Answer 1

你应该看看一些技巧

1.) 停止词过滤：在文本挖掘中很常见两个过滤词，它们通常不是很重要，因为它们是两个频繁出现的。比如the、a、is等等。有预定义的字典。

2.) TF/IDF：TF/IDF 会根据单词分隔文档的程度重新加权。

3.) 命名实体识别：对于您手头的任务，只关注名称可能就足够了。命名实体识别可以从文档中提取名称

4.) 线性狄利克雷分配：LDA 在文档中找到概念。概念是一组经常一起出现的词。