Apple 系统日志到 ELK答案

【问题标题】：Apple System Log to ELKApple 系统日志到 ELK
【发布时间】：2018-06-16 17:51:28
【问题描述】：

有人知道如何在 ELK 等 SIEM 中导出 mac os x 的 ASL 日志吗？ filebeat 上是否有配置先将它们转换为文本格式。

我知道我们可以通过 syslog –T utc –F raw 读取它们

【问题讨论】：

它们现在长什么样子？

标签： macos elasticsearch logging logstash kibana

【解决方案1】：

您应该能够通过log 命令导出所有内容。我有时喜欢分析我的个人笔记本电脑通过 logstash 和 elasticsearch 生成的日志。要将日志放入 logstash，我在 tmux 窗口中运行以下命令：

sudo log stream --info --debug |sudo -E socat -dddd STDIN TCP4:logstash.docker:6661,interval=4,reuseaddr,forever

我在 logstash 中一起破解了几个 grok 来解析 macos 系统日志，它们大部分时间都在工作。随意将它们用于您自己的日志。如果您设法改进它们，请以我的方式发送它们（或指向要点的链接）。

filter {
  grok {
    match => { "message" => "%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day}\s+%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}%{ISO8601_TIMEZONE:tz}%{GREEDYDATA}" }
    add_field => {"[log_timestamp]" => "%{year}-%{month}-%{day} %{hour}:%{minute}:%{second}%{tz}"}
    tag_on_failure => ["datefail_string"]
  }
  grok {
    match => { "message" => ["%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day}\s+%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}%{ISO8601_TIMEZONE:tz}\s+%{BASE16NUM:thread_id}\s+%{LOGLEVEL:log_type}\s+%{BASE16NUM:activity}\s+%{NUMBER:pid}\s+%{DATA:program}:\s+\(%{DATA:library}\)\s+\[%{DATA:package}\]\s+%{GREEDYDATA:msg}",  "%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day}\s+%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}%{ISO8601_TIMEZONE:tz}\s+%{BASE16NUM:thread_id}\s+%{LOGLEVEL:log_type}\s+%{BASE16NUM:activity}\s+%{NUMBER:pid}\s+%{DATA:program}:\s+\[%{DATA:package}\]\s+%{GREEDYDATA:msg}", "%{YEAR:year}-%{MONTHNUM:month}-%{MONTHDAY:day}\s+%{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}%{ISO8601_TIMEZONE:tz}\s+%{BASE16NUM:thread_id}\s+%{LOGLEVEL:log_type}\s+%{BASE16NUM:activity}\s+%{NUMBER:pid}\s+%{DATA:program}:%{GREEDYDATA:msg}"] }
      tag_on_failure => ["logfail1"]
    remove_field => ["message"]
  }

  mutate {
    remove_field => ["month","day","year","minute","hour","second","tz"]
  }
}

【讨论】：

【解决方案2】：

您可以使用NXLog EE 等日志收集器代理将日志直接发送到 Elasticsearch，或将收集到的日志转发到 Logstash，MacOS 是受支持的平台。可以收集内核日志、本地 Syslog、Apple 系统日志、进程记帐日志和其他日志文件。 EE 不是免费的，但有试用版。

还有解析 Apple 系统日志 (*.asl) 文件的模块。

【讨论】：