如何在流式传输到谷歌云存储时旋转文件

Question

我们正在开发一个 POC，我们希望将我们的网络日志流式传输到谷歌云存储。我们了解到，谷歌云存储上的对象是不可变的，不能从 java api 附加。但是，我们可以根据此链接使用 gsutil 进行流传输https://cloud.google.com/storage/docs/concepts-techniques?hl=en#streaming 现在我们想编写每小时文件。有没有办法像 logrotate 一样每小时更改文件名？

Answer 1

gsutil 不提供任何 logrotate 样式的对象命名功能。

通过 gsutil 流传输，生成的云对象根据您的 gsutil cp 命令中的目标对象进行命名。为了实现轮换，生成流的作业可以每小时关闭一次流，选择一个新文件名，然后发出一个新的流式 gsutil cp 命令。