如何将百万对象上传到谷歌云存储

Question

Google 云存储 API（XML 或 Json）仅允许每秒上传 1 次。

https://cloud.google.com/storage/docs/concepts-techniques

您最多可以每秒更新一次特定对象。以超过每秒一次的速度更新特定对象可能会导致 503 Service Unavailable 错误。对不同对象的并发更新不受每秒更新一次的限制。

那么如何上传新的 2000 万个差异对象 google storage 呢？

P/s : 我的硬盘中有大约 20M 的小文件，所以我想将所有文件上传到谷歌云存储。

Answer 1

对不起，这个措辞有些误导​​。您可以每秒上传一次具有相同对象名称的特定对象。如果您有一个桶foo 和一个对象bar，您应该只上传一个foo/bar 的新副本，大约每秒一次。

您可以在带宽允许的情况下以不同的速度上传具有不同名称的对象。