用fluentd解析数据答案

【问题标题】：Parsing data with fluentd用fluentd解析数据
【发布时间】：2013-11-22 00:34:45
【问题描述】：

我已经熟练使用 elasticsearch 运行，并且正在使用 rsyslog 从几台 Unix 机器转发日志（基本上是转发所有日志）。

效果很好，只是我无法控制数据。我想要的是能够标记某些值。现在，一切都在@message 中。假设我有来自 apache 的日志进入 fluentd。我想使用 Kibana 查看流量（每个 ip、每个文件类型、响应等）。

我不知道这是否可以直接在 Kibana 中完成，或者必须在 fluentd 中解析。我该怎么办？我已经看到了不同日志设置的示例，但是当涉及到 Web 服务器时，它们都会跟踪日志文件。我不能这样做，因为它是一个远程服务器。

另外，我想从不同的服务（sql、web、mail...）中获取重要的统计信息。

注意：我正在使用 rsyslog 转发日志。

【问题讨论】：

【解决方案1】：

我是 Fluentd 的维护者之一。

您认为您可以分享您的 Fluentd 配置文件以及日志中的示例行吗？

另外，我想从不同的服务（sql、web、mail...）中获取重要的统计信息。

【讨论】：

我有fluentd自带的默认配置。我启用了 syslog（我认为它默认已注释），然后在我的 apache 服务器上，我直接从 rsyslog 转发了日志。他们很好。我可以在 Kibana / Elasticsearch 中看到它们。我想要的是解析类似这样的信息：elasticsearch.org/content/uploads/2013/09/… 现在我有时间戳、主机、身份和消息。我想要clientIP、response、request、agent...类似于上面的截图。我不确定我是否需要额外的插件或什么...
抱歉来晚了。如果可以更新 Fluentd（我相信是 v0.10.50），in_syslog 可以支持任意文本format <regexep>。

【解决方案2】：

【讨论】：