【发布时间】:2018-03-17 00:54:21
【问题描述】:
我正在开发 Solr 6.5,我注意到的一件事是我的索引文件大小随着内容的增加而不断增加。我使用了停用词文件,没有索引常用词。
我在索引中看到许多我不想编入索引的 HTML 标记,以及不应编入索引的内容中的 cmets。我怎样才能找到这些并更新我的停用词 txt 来处理它们?
我只索引了英文内容,索引文件已经是 30 GB,只有 900 万个文档。
【问题讨论】:
我正在开发 Solr 6.5,我注意到的一件事是我的索引文件大小随着内容的增加而不断增加。我使用了停用词文件,没有索引常用词。
我在索引中看到许多我不想编入索引的 HTML 标记,以及不应编入索引的内容中的 cmets。我怎样才能找到这些并更新我的停用词 txt 来处理它们?
我只索引了英文内容,索引文件已经是 30 GB,只有 900 万个文档。
【问题讨论】:
您可以在编制索引时使用HTMLStripFilterFactory 删除所有 HTML 内容。
但是对于 900 万个文档,30GB 的大小是每个文档不到 4kb,实际上并没有那么多。这些文档确实具有固有大小,因此只要您为它们编制索引,它们就会将数据添加到索引中。
【讨论】: