【问题标题】:how to fast find occurence in very large logs如何在非常大的日志中快速查找事件
【发布时间】:2016-01-25 07:16:43
【问题描述】:

假设我们有非常大的访问日志,其中 IP 在机器上只有很少的 RAM (~ 2 Mb)。

任务是在晚上启动一些实用程序(最好是 perl),可以存储 IP。早上我们想在 1 秒内回答问题:“夜间日志中是否有 ip a.b.c.d?”

  • 我们可以为这项任务使用什么数据结构?
  • 什么算法?

当然简单的grepping日志会很慢,这不是我们想要的。

谢谢!

【问题讨论】:

  • 除非您想创建一个性能优于所有以前的索引程序的索引程序,否则将其标记为algorithm 似乎过于夸张。事实上,这似乎与编程无关——提名关闭为题外话。你可能在askubuntu.com 有更好的运气,尽管软件推荐在那里也可能是题外话

标签: linux algorithm logging


【解决方案1】:

你可能想要这样的东西:

https://papertrailapp.com/

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-03-29
    • 1970-01-01
    • 1970-01-01
    • 2016-10-08
    • 2019-05-29
    • 1970-01-01
    • 1970-01-01
    • 2011-01-01
    相关资源
    最近更新 更多