谷歌云存储更改存储类而不重写

Question

我们正在研究将 Google Nearline 作为一些“暖”存储需求的解决方案。基本上，我们希望不时访问大约 5 PB 数据集的部分内容，但很少访问整个数据集。

也就是说，一年中可能会有一到两次我们想要在整个数据集上运行一些东西（即用一个新字段修补所有数据）。这些算法将在 GCP (dataproc) 中运行。在近线上执行此操作会使我们的预算每次增加 50k。

想知道是否有可能更改存储类而不会导致完整的数据检索损失？我看到可以通过gsutil rewrite 更改存储类，但这会检索数据。

也许我们可以使用生命周期规则来更改存储类而无需检索？或者有没有其他方法可以做到？

Answer 1

gsutil rewrite 作为一项操作最终会在存储类上创建新对象，这意味着您在一个存储对象类中读取 GCS 对象并在另一个存储对象类中写入（即创建新对象）

此操作由您的项目承担。