logstash-forwarder start_postion => 开始

Question

我正在使用 logstash 进行集中式日志记录。我在托运人节点上使用logstash-forwarder，在收集器节点上使用ELK堆栈。问题是我希望logstash从一开始就解析托运人节点上存在的文件。 shipper 上的配置文件 logstash-forwarder.conf 有如下配置：

       {
          "network": {
            "servers": [ "XXX.XX.XX.XXX:5000" ],
            "timeout": 15,
            "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt"
          },
          "files": [
            {   
              "paths": [
                "/apps/newlogs.txt"
               ],
              "fields": { "type": "syslog" }
            }
           ]
        }

收集器配置为：

input { 
  lumberjack {
    port => 5000
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }   
}
filter {
if [type] == "syslog" {
grok {
     match => { "message" => "%{TIMESTAMP_ISO8601:logdate}\s%{LOGLEVEL:level}\s-\s%{WORD:USE_CASE}\s:\s%{WORD:STEP_DETAIL}\s:\s\[%{WORD:XXX}\]\s:\s(?<XXX>([^\s]+))\s:\s%{GREEDYDATA:MESSAGE_DETAILS}" }
     add_field => [ "received_at", "%{@timestamp}" ]
     add_field => [ "received_from", "%{host}" ]
     add_tag => [ "level:%{level}" ]
     add_tag => [ "USE_CASE:%{USE_CASE}" ]

   }
}
}
output {
  elasticsearch { host => localhost}
  stdout { codec => rubydebug }
}

我希望文件应该从乞求中解析，而不是针对生成的每个事件，我们通过指定 start_position => 开始在 logstash.conf 中轻松完成，但我无法在 logstash-forwarder 中找到简单的方法该文件将出现在托运人方面。

谢谢。

Answer 1

据我所知，logstash-forwarder 的默认行为是从文件的开头开始 - 所以托运人应该已经按预期从头开始读取。

您还没有说明您为诊断问题所做的尝试。如果您还没有这样做，我会暂时绕过收集器以确认托运人正在按预期工作并排除证书的潜在问题。