【问题标题】:Solr Index file removing html tags and garbage content form indexingSolr 索引文件删除 html 标记和垃圾内容表单索引
【发布时间】:2018-03-17 00:54:21
【问题描述】:

我正在开发 Solr 6.5,我注意到的一件事是我的索引文件大小随着内容的增加而不断增加。我使用了停用词文件,没有索引常用词。

我在索引中看到许多我不想编入索引的 HTML 标记,以及不应编入索引的内容中的 cmets。我怎样才能找到这些并更新我的停用词 txt 来处理它们?

我只索引了英文内容,索引文件已经是 30 GB,只有 900 万个文档。

【问题讨论】:

    标签: indexing solr lucene


    【解决方案1】:

    您可以在编制索引时使用HTMLStripFilterFactory 删除所有 HTML 内容。

    但是对于 900 万个文档,30GB 的大小是每个文档不到 4kb,实际上并没有那么多。这些文档确实具有固有大小,因此只要您为它们编制索引,它们就会将数据添加到索引中。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-04-23
      • 1970-01-01
      • 2012-09-25
      • 2018-04-26
      • 2012-08-07
      • 1970-01-01
      • 2023-04-01
      • 1970-01-01
      相关资源
      最近更新 更多