JSON解析后Logstash删除字段

Question

在 Ubuntu 14.04 LTS 上使用 Logstash 1.4.2 和 ElasticSearch 1.3（我知道它不是可用的最新 ES 版本）。

我们有一个事件流，其中包含一个名为“消息”的字段中的 JSON。

如果找到，我们想用该字段的 JSON 替换事件字段。

如果找到并解析，我们还想删除原始“消息”字段（包含 JSON 字符串的字段）。

问题是字段文本中的 JSON 对象可以定义一个新的“消息”字段，我们必须保留它。

解析后总是删除“消息”字段：

json {
  source => "message"
  remove_field => [ "message" ]
}

这是错误的，我们想保留它，以防原始“消息”字段的值中有一个“消息”字段。

我尝试了以下技巧，但似乎仍然从结果中删除了“消息”字段：

mutate {
  rename => [ "message", "___temp_logstash_filter_message___" ]
}
json {
  source => "___temp_logstash_filter_message___"
}
mutate {
  remove_field => [ "___temp_logstash_filter_message___" ]
}

即我尝试将原始“消息”字段重命名为我不希望出现在输入值中的任意内部名称，使用该临时名称作为源解析 JSON 字符串，然后删除重命名的原始字段。

这样，我希望区分“原始”消息字段和可能包含在其 JSON 值中的任何“消息”字段。但这似乎没有什么不同——结果中仍然缺少“消息”字段。

有没有办法实现我的需要？

谢谢。

Answer 1

不要重命名字段，而是将第一个字段复制到新字段中。

这可以通过：

filter {
    ...
    ruby {
        code => "event['new_field'] = event['old_field']"
    }
    ...
}