GCS存储桶更新频率，如何设置？

Question

我正在尝试使用 logstash 通过下面的输出插件将消息推送到 GCS。我可以看到存储桶中的消息，但是它们每小时出现一次，而不是实时出现。在哪里可以更改日志发送的频率？

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-google_cloud_storage.html

P.S：我尝试将其添加到我的配置文件中，但没有用： flush_interval_secs => 2

我的配置看起来像这样：

input{
kafka {
    zk_connect => "xxxxxxxxxxxxxxxxxxxxxx"
    group_id => "yyyyyyyyyyyyyyyyyyyyyyyyyyyy"
    topic_id => "zzzzzzzzzzzzzzzzz"
    reset_beginning => true
    auto_offset_reset => "smallest"
    }
}
output
{
    google_cloud_storage {
       bucket => "aaaa/bbb"
       flush_interval_secs => 15
    }
    stdout
         {
              codec => rubydebug
         }
}

Answer 1

来自Documentation：

上传新文件到 GCS 时的上传时间间隔。根据您的时间模式调整时间（例如，对于每小时文件，此时间间隔可能约为一小时）。

默认值为 60。

例子：

output {
   google_cloud_storage {
     bucket => "my_bucket"                                     (required)
     date_pattern => "%Y-%m-%dT%H:00"                          (optional)
     uploader_interval_secs => 60                              (optional)
   }
}

此外，您还可以设置date_pattern，这是日志文件的时间模式。