fluentd和nginx访问日志格式

Question

如何在 fluentd 中为以下 nginx 访问日志格式编写正则表达式？

log_format main '$remote_addr - $remote_user [$time_local]  $request '
                        '"$status" $body_bytes_sent "$http_referer" '
                        '"$http_HOST" $HOST '
                        '"$http_user_agent" "$http_x_forwarded_for" '
                        'upstream_response_time $upstream_response_time '
                        'upstream_addr $upstream_addr '
                          'msec $msec request_time $request_time';

Answer 1

nginx fluend module 很容易做到这一点。

模块通过fluentd-udp-plugin实时向fluentd发送访问日志，日志格式为json，可以获取fluentd中的所有日志变量。