logstash 过滤器如何为一个输入创建两个（或以上）输出

Question

我通过 http poller 获取一个 json

  {
 "id":12345
 "name":"",
 "lastname":"",
 "age":12,
 "address":{"city":"XXXX" , "street":"ZZZZ" }
 }

我希望这能在我的输出中生成两个文档：

人：

 {
"id":12345
"name":"",
"lastname":"",
"age":12
  }

地址：

 {
"city":"XXXX" , 
"street":"ZZZZ" 
  }

意思是我在输入中有一个事件

在输入阶段获得一个输入：

input {
  http_poller {
    urls => {
      test1 => "http://localhost:8080"
    }
}

在过滤阶段我想：

1. 创建人员事件（将其标记为 P）
2. 创建地址事件（标记为A）

在输出阶段我想：

1. 在 ES 中发送 P 到 P 类型
2. 将A发送到ES中的A类型

Answer 1

您可以通过clone filter 实现这一目标。

首先，您需要安装默认未捆绑的插件：

bin/logstash-plugin install logstash-filter-clone

然后你可以像这样修改你的 Logstash 配置：

input {
  http_poller {
    urls => {
      test1 => "http://localhost:8080"
    }
    type => "A"
  }
}
filter {
    clone {
        clones => [ "P" ]
        add_tag => [ "P" ]
    }
    if [type] == "P" {
        mutate {
            remove_field => [ "address" ]
        }
    } else {
        mutate {
            add_tag => [ "A" ]
            remove_field => [ "id", "name", "lastname", "age" ]
        }
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        document_type => "%{type}"
    }
}