Syslog 异常检测

Question

我想知道，是否有人知道计算机日志上的开源异常检测算法？例如，计算机日志如下所示：

"value UL-CCCH-Message ::= { integrityCheckInfo { messageAuthenticationCode 0, rrc-MessageSequenceNumber 0 }, 消息 cellUpdate : { u-RNTI { srnc-Identity 232, s-RNTI 178710 }, startList { { cn-DomainIdentity ps-domain, start-Value 58 } }, am-RLC-ErrorIndicationRb2-3or4 FALSE, am-RLC-ErrorIndicationRb5orAbove FALSE, cellUpdateCause cellReselection, rb-timer-indicator { t314-expired FALSE, t315-expired FALSE }, measureResultsOnRACH { currentCell { modeSpecificInfo fdd : { measureQuantity cpich-Ec-N0 : 24 } } } }"

有办法，我可以从日志中提取特征并对时间序列数据应用异常检测，但还有另一种方法是我会自动从日志中发现一般模式并制定规则/标准，如果未来的日志属于一般模式，如果不是那么它的异常。我想知道在日志中找到自动模式发现的任何算法。

如果您有这方面的专业知识，请分享您的想法。

谢谢 亲切的问候， 腰带

Answer 1

以下是基于这篇文章的方法：Enterprise search。它是基于文本搜索平台——Apache Solr开发的

1. 根据窗口对日志进行分组，例如时间窗口
2. 计算每个组或窗口的术语统计信息。即特征提取。
3. 对时间序列数据应用通用异常检测算法（不同时间窗口的术语统计）
4. 根据异常信息查找异常日志

Answer 2

您的问题的直接答案是 - 您提供的计算机日志没有开源异常检测算法（我猜输出来自电信 BTS，对吧？）。

只有异常检测算法——比如频繁模式挖掘、k-means 等。

大多数情况下，所有异常检测算法都可以作为 Python、R、Matlab 等编程包的一部分使用。因此，我们不需要寻找算法。

现在我认为你真正的问题是：

有办法，我可以从日志中提取特征并对时间序列数据应用异常检测，但还有另一种方法是我会自动从日志中发现一般模式并制定规则/标准，如果未来的日志属于一般模式，如果不是那么它的异常。我想知道在日志中找到自动模式发现的任何算法。

没有现成的系统可以满足上述要求。我可以建议的最佳选择是：使用 SumoLogic/Splunk 或类似类型的解决方案来进行基于文本的搜索。这些工具将帮助您解决问题。然而，最终这些异常的准确性将成为一个问题。

因此，答案是：您需要构建一个自定义的ML系统（具有特征提取+优化+算法+可视化）来解决检测时序BTS计算机日志中的异常问题。您的可交付成果（您要交付的具体内容 - 异常、见解、分析）将对您将使用的算法、功能和参数产生重大影响。

我已经在上面工作了一年半多，我真的建议你从小事开始——比如基于文本的搜索软件——对于日常技术支持故障排除来说已经绰绰有余了。

附：一个小技巧 - 看看人们如何在网络安全中构建入侵检测系统 - 他们正在解决相同的问题（正常与异常异常、基于序列的分析等）