使用 grok 处理器调试 Elastic Ingest 管道答案

【问题标题】：debugging Elastic Ingest pipelines with grok processor使用 grok 处理器调试 Elastic Ingest 管道
【发布时间】：2020-12-08 17:36:49
【问题描述】：

我有一个弹性摄取管道，其中定义了 grok 处理器以及错误处理

{
  "my_ingest" : {
    "description" : "parse multiple patterns",
    "processors" : [
      {
        "grok" : {
          "field" : "message",
          "patterns" : [
            """^\[end  ] %{DATA:method} \'%{GREEDYDATA:url}' %{DATA:status} :: Duration: %{DATA:duration} ms""",
            """^\[start] %{DATA:method} \'%{GREEDYDATA:url}' :: Start Time:%{GREEDYDATA:starttime}""",
            "%{GREEDYDATA:message}"
          ],
          "on_failure" : [
            {
              "set" : {
                "field" : "failure",
                "value" : "{{_ingest.on_failure_processor_type }}-{{ _ingest.on_failure_message }}"
              }
            }
          ]
        }
      }
    ],
    "on_failure" : [
      {
        "set" : {
          "field" : "_index",
          "value" : "failedindex"
        }
      }
    ]
  }
}

我在我的 filebeat.yml 中指的是这个管道当我在开发工具中进行模拟时，grok 过滤器起作用。但是当我运行实际的日志记录时，我看不到日志语句。看起来它们无法被解析并且在 kibana 中不可见。我也没有看到创建的新索引，我希望看到在 on_failure 上定义的错误记录。有人可以建议或指点调试问题。

如何从元数据中访问这个 on_failure_processor_type 和 on_failure_message？

谢谢

【问题讨论】：

标签： elastic-stack ingest

【解决方案1】：

_simulate endpoint 通常是调试的最佳起点。

如果这不能解决问题，请发布示例文档。否则我们将无法提供帮助。

另外对于“我也没有看到创建新索引”：您确定数据正在发送到 Elasticsearch？来自 Filebeat 或您正在使用的任何日志的一些日志可能值得检查（或分享）。

【讨论】：