对日志进行快速文本搜索答案

【问题标题】：Fast Text Search Over Logs对日志进行快速文本搜索
【发布时间】：2010-09-14 21:28:21
【问题描述】：

这是我遇到的问题，我有一组可以很快增长的日志。它们每天都被拆分成单独的文件，并且这些文件可以很容易地增长到一个演出的大小。为了帮助缩小规模，超过 30 天左右的条目将被清除。

问题是当我想在这些文件中搜索某个字符串时。现在，Boyer-Moore 搜索速度慢得令人难以置信。我知道像 dtSearch 这样的应用程序可以使用索引提供非常快速的搜索，但我不确定如何在不占用两倍日志空间的情况下实现这一点。

我可以查看任何可以提供帮助的资源吗？我真的在寻找一种标准算法，它可以解释我应该如何构建索引并使用它进行搜索。

编辑：
Grep 不起作用，因为此搜索需要集成到跨平台应用程序中。我无法在其中包含任何外部程序。

它的工作方式是有一个带有日志浏览器的 Web 前端。这与自定义 C++ Web 服务器后端对话。该服务器需要在合理的时间内搜索日志。目前搜索几场日志需要很长时间。

编辑 2：其中一些建议很棒，但我必须重申，我不能集成另一个应用程序，它是合同的一部分。但是为了回答一些问题，日志中的数据与接收到的医疗保健特定格式的消息或与这些相关的消息不同。我希望依赖索引，因为虽然重建索引可能需要一分钟，但目前搜索需要很长时间（我已经看到它需要长达 2.5 分钟）。此外，很多数据在记录之前就被丢弃了。除非打开某些调试日志记录选项，否则会忽略一半以上的日志消息。

搜索基本上是这样的：Web 表单上的用户会看到最新消息的列表（当他们滚动时从磁盘流式传输，对于 ajax 来说是的），通常，他们会想要搜索带有其中的一些信息，可能是患者 ID，或者他们发送的一些字符串，因此他们可以将字符串输入到搜索中。搜索被异步发送，自定义 Web 服务器一次线性搜索 1MB 的日志以获取某些结果。当日志变大时，此过程可能需要很长时间。这就是我要优化的内容。

【问题讨论】：

尝试将 grep 作为外部工具，如果速度足够快，您可以获取 gnu grep 源代码并将其直接集成到您的应用中。
我愿意，但如果我包含它是一个法律问题，我已经问过要走这条路。

标签： algorithm search full-text-search scalability

【解决方案1】：

您可能需要查看 BSD grep 的源代码。您可能无法依靠 grep 来为您服务，但没有什么说您不能重新创建类似的功能，对吧？

【讨论】：

【解决方案2】：

查看 Lucene 使用的算法。不过，它们不太可能非常简单。曾几何时，我不得不研究其中一些算法，其中一些非常复杂。

如果您可以识别要索引的文本中的“单词”，只需构建一个单词的大型哈希表，该表将单词的哈希映射到每个文件中的出现次数。如果用户经常重复相同的搜索，缓存搜索结果。搜索完成后，您可以检查每个位置以确认搜索词在该位置，而不仅仅是具有匹配哈希的单词。

另外，谁真正关心索引是否大于文件本身？如果你的系统真的这么大，有这么多活动，那么几十个索引是世界末日吗？

【讨论】：

【解决方案3】：

Splunk 非常适合搜索大量日志。对你的目的来说可能是矫枉过正。您根据要处理的数据量（日志大小）付费。我很确定他们有一个 API，所以如果您不想使用他们的前端，则不必使用。

【讨论】：

【解决方案4】：

您很可能希望将某种类型的索引搜索引擎集成到您的应用程序中。那里有几十个，Lucene 似乎很受欢迎。检查这两个问题以获得更多建议：

Best text search engine for integrating with custom web app?

How do I implement Search Functionality in a website?

【讨论】：

【解决方案5】：

有关您正在执行的搜索类型的更多详细信息肯定会有所帮助。为什么，特别是您要依赖索引，因为您必须每天在日志翻转时重建它？这些日志中有哪些信息？可以在录制之前就丢弃其中的一些吗？

现在这些搜索需要多长时间？

【讨论】：

【解决方案6】：

grep 通常对我来说非常适合大型日志（有时 12G+）。您也可以找到适用于 Windows 的版本here。

【讨论】：

对。这也是我的第一个想法，但 OP 确实需要提供更多上下文来评估这个建议的有用性。