管道配置中的 Logstash 变量

Question

我正在设置 Logstash 以提取 Airflow 日志。以下配置为我提供了我需要的输出：

input {
   file {
      path => "/my_path/logs/**/*.log"
      start_position => "beginning"
      sincedb_path => "/dev/null"
   }
}

filter {
   if [path] =~ /\/my_path\/logs\/containers\/.*/ or [path] =~ /\/my_path\/logs\/scheduler\/.*/ {
      drop{}
   }
   else {
      grok {
        "match" => [ "message", "\[%{TIMESTAMP_ISO8601:log_task_execution_datetime}\]%{SPACE}\{%{DATA:log_file_line}\}%{SPACE}%{WORD:log_level}%{SPACE}-%{SPACE}%{GREEDYDATA:log_message}" ]
        "remove_field" => [ "message" ]
      }
      date {
        "match" => [ "log_task_execution_datetime", "ISO8601" ]
        "target" => "log_task_execution_datetime"
        "timezone" => "UTC"
      }
      dissect {
        "mapping" => { "path" => "/my_path/logs/%{dag_id}/%{task_id}/%{dag_execution_datetime}/%{try_number}.%{}" }
        "add_field" => { "log_id_template" => "{%{dag_id}}-{%{task_id}}-{%{dag_execution_datetime}}-{%{try_number}}" }
      }
   }
}

output {
       stdout {codec => rubydebug{metadata => true}}
}

但我不喜欢多次指定路径“/my_path/logs/”。 在我的输入部分，我尝试使用：

add_field => { "[@metadata][base_path]" => "/my_path/logs/" }

然后，在过滤器部分：

if [path] =~ /[@metadata][base_path].*/ or [path] =~ /[@metadata][base_path].*/ {
      drop{}
   }
...
dissect {
        "mapping" => { "path" => "[@metadata][base_path]%{dag_id}/%{task_id}/%{dag_execution_datetime}/%{try_number}.%{}" } 

但它似乎不适用于过滤器或剖析映射中的正则表达式。尝试使用 here 所述的环境变量时，我遇到了类似的问题。

我有一个（也许是天真的）想法，我应该能够为所有对基本路径的引用使用一个变量。有什么办法吗？

Answer 1

不支持在条件中使用环境变量。自 2016 年以来，已经有一个 github issue 请求它作为增强功能开放。解决方法是使用 mutate+add_field 向 [@metadata] 添加一个字段，然后对其进行测试。

"mapping" => { "path" => "${[@metadata][base_path]}%{dag_id}/%{task_id} ...

应该可以。条件中的条款不是 sprintf'd，因此您不能使用 %{}，但您可以进行子字符串匹配。如果 FOO 设置为 /home/user/dir 则

    mutate { add_field => { "[@metadata][base_path]" => "${FOO}" } }
    mutate { add_field => { "[path]" => "/home/user/dir/file" } }
    if [@metadata][base_path] in [path] {  mutate { add_field => { "matched" => true } } }

导致 [matched] 字段被添加。我不知道如何锚定字符串匹配，所以如果 FOO 设置为 /dir/ 那么它也会匹配。