索引半结构化数据

Question

我想索引一组包含半结构化数据的文档，通常是键值对，例如 @author Joe Bloggs。然后，这些关键字应可用作文档的可搜索属性，可以单独查询。

我一直在研究 Lucene，并且能够在我感兴趣的文档上建立索引，但我不确定如何最好地进行下一步的关键字提取。

在 Lucene 或其他索引系统中是否有这样做的通用方法？我希望能够使用典型的单词搜索来搜索文档，就像我已经能够做到的那样，所以我想要一个比自定义正则表达式提取更多的东西。

任何帮助将不胜感激。

尼尔

Answer 1

我在学士论文中使用 Lucene 编写了一个源代码搜索引擎。关键特性之一是源代码被视为结构化信息，因此应该是可搜索的，即可以根据您上面描述的属性进行搜索。

Here你可以找到更多关于这个项目的信息。如果这对你来说太广泛了，我可以总结一些事情：

• 我为所有应该可搜索的属性创建了单独的搜索字段。在我的情况下，例如“方法名”或“评论”或“类名”。
• 让这些字段的内容重叠可能会有好处，但是这会破坏您的数据库索引（但只会与可搜索字段中出现冗余数据呈线性关系）。