【发布时间】：2013-04-13 11:30:06
【问题描述】：
我想知道在建立倒排索引时，搜索引擎中是否有选择基础词的规则。我知道一般停用词不会被索引。但是其他人呢？我很困惑... 提前致谢。
【问题讨论】：
标签： search-engine
【发布时间】：2013-04-13 11:30:06
【问题描述】：
你的意思是词干吗？一些搜索引擎使用它。这意味着所有单词都被截断，所以walk、walks、walked 和walking 都将被索引为walk。这同样适用于运行搜索之前的查询。它会导致更多点击，因为搜索 walking in the woods 也会匹配“a walk in the woods”。
【讨论】：
-
不仅仅是词干。我的意思是我们不能索引网络中的每个单词，因为它太大了，对吧？那么哪些词应该被索引，哪些应该被忽略呢？有没有共同的规律？
-
搜索模块做索引他们消化的每个文档中的每个单词。有一些压缩技术可以减少所需的硬盘空间，但是这些二进制索引会迅速增长。我认为每个搜索引擎运营商都有自己的一些排除规则。例如，如果我必须自己设计一个搜索引擎，我会从 OCR 读取的文档中排除不会多次出现的字符串，但这只是我自己的决定。我还知道一个搜索引擎，它只索引作为语法有效句子一部分的单词。但是没有通用规则。