解释 Heroku 日志的格式

Question

默认情况下，Heroku 会为 (Ruby) 应用程序的每个请求生成两条日志消息。在每种情况下，都有一些含义不明显的字段。首先，路由器消息（出现在 logplex 排水管中）：

<158>1 2014-08-04T18:28:43.078581+00:00 host heroku router - at=info method=GET path="/foo" host=app-name-7277.herokuapp.com request_id=e5bb3580-44b0-46d2-aad3-185263641044 fwd="50.168.96.221" dyno=web.1 connect=0ms service=2ms status=200 bytes=415

其中大部分是相当明显的，但我不知道开头的<158>1、时间戳后面的单词host和“路由器”后面的-。

接下来，网络应用消息：

<190>1 2014-08-04T18:28:43.015630+00:00 host app web.1 - 50.168.96.221 - - [04/Aug/2014 18:28:43] "GET /foo HTTP/1.1" 200 12 0.0019

这与路由器消息具有相同的奥秘，在 IP 地址后加上两个破折号。

有人知道 Heroku 日志格式的完整文档吗？我在网上找到的所有来源都非常模糊。

Answer 1

Heroku 日志通过 syslog 中继的历史由来已久，并且大致采用 RFC5424 格式。

第一个-之前的都是syslog头，具体格式在这里：https://www.rfc-editor.org/rfc/rfc5424#section-6.2

之后的所有内容都是来自应用的原始消息。

让我们分解第一条消息：

• <158>：这是 PRI，请参阅 https://www.rfc-editor.org/rfc/rfc5424#section-6.2.1
• 1：这是“版本”，见https://www.rfc-editor.org/rfc/rfc5424#section-6.2.2
• 2014-08-04T18:28:43.078581+00:00：是日期戳，包括TZ，见https://www.rfc-editor.org/rfc/rfc5424#section-6.2.3
• host：是原始系统的“主机名”，参见https://www.rfc-editor.org/rfc/rfc5424#section-6.2.4。这被有效地剥离并替换为“主机”
• heroku：“应用名称”，见https://www.rfc-editor.org/rfc/rfc5424#section-6.2.5。 ATM：这将是“heroku”或“app”，具体取决于生成消息的内容。如果日志消息是由 Heroku 的基础设施生成的，那么这将是“heroku”。如果日志消息是由用户的应用（或插件）生成的，则为“app”。
• router：PROCID，见https://www.rfc-editor.org/rfc/rfc5424#section-6.2.6。这将是生成消息的组件/测功机的名称。
• -：MSGID 字段，请参阅https://www.rfc-editor.org/rfc/rfc5424#section-6.2.7。我们不使用它，所以它是 -。

在您发布的第一个示例消息中，该行的其余部分是路由器发送的消息：

at=info method=GET path="/foo" host=app-name-7277.herokuapp.com request_id=e5bb3580-44b0-46d2-aad3-185263641044 fwd="50.168.96.221" dyno=web.1 connect=0ms service=2ms status=200 bytes=415

在您发布的第二条示例消息中，该行的其余部分是相关应用程序发出的行：

我不知道那个应用程序是什么，但生成的东西对我来说看起来像 apache。 Heroku 不会生成这些，heroku 为客户运行的应用程序会生成这些。有些应用会为每个请求复制路由器日志相关信息，有些则不会。这取决于应用程序的日志记录设置。

您可以在此处找到有关 heroku 生成消息中数据格式的更多信息：https://devcenter.heroku.com

具体来说：

• Heroku 路由器日志：https://devcenter.heroku.com/articles/http-routing#heroku-router-log-format
• Heroku 运行时指标：https://devcenter.heroku.com/articles/log-runtime-metrics
• Heroku Postgres：https://devcenter.heroku.com/articles/heroku-postgres-metrics-logs