Logstash 遍历 s3 目录树获取日志

Question

我们有大约四年的日志存储在 Amazon S3 上的存储桶中，格式为

BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server1.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server2.log
BUCKET/path/logs/blah/YEARMONTHDAYHOUR/server3.log

等等

我们的目标是使用这些数据来回填和索引日志，因此我想知道是否有办法告诉 s3 输入插件搜索指定前缀内文件夹中的所有日志，类似于：

"path" => "/path/logs/blah/**/*.log

如果没有办法用s3 plugin 做到这一点，你们中有人解决过类似的问题吗？
理想的情况是能够在后台处理该过程并使其尽可能接近实时（这意味着我想避免必须手动将日志复制到外部位置并运行脚本来更新索引的事情）

Answer 1

我遇到了类似的问题。 我找到的解决方案如下。

1. 将 S3 存储桶挂载为本地文件系统中的可移动驱动器。
2. 使用file 输入插件来索引目标日志文件。

使用这种方法既不需要手动复制也不需要运行脚本。索引是在后台执行的。

有几个 S3 客户端应用程序有助于将 S3 存储桶挂载为本地驱动器（例如 TntDrive）。但是，它们都是商业软件。到目前为止，我还没有找到任何免费的应用程序。

我的操作系统是 Windows 7，我使用 TntDrive 将 S3 存储桶挂载到我的本地文件系统。