处理空字段

Question

总的来说，我是 Stormcrawler 和 elasticsearch 的新手。我目前正在使用stormcrawler 2.0 将网站数据（包括PDF 和Word 文档等非HTML 项目）索引到elasticsearch 中。在某些情况下，PDF 或 Word 文档的元数据不包含标题，因此该字段在 elasticsearch 中存储为空白/空。不幸的是，这在我用来显示搜索结果的 webapp (search-ui) 中引起了问题。如果元数据中不存在，是否可以让 Stormcrawler 在标题字段中插入默认值“Untitled”？

我了解 elasticsearch 有一个 null_value 字段参数，但如果我理解正确，该参数不能用于文本字段，只能用于搜索。

谢谢！

Answer 1

一种选择是编写一个自定义 ParseFilter 来为任何缺失的键或具有空值的键提供任意值。 StormCrawler 代码中有很多ParseFilters 的示例，另请参阅the WIKI。

同样可以在解析器和索引器之间放置一个自定义 Bolt；获取元数据并根据您的意愿进行标准化。