将大于 5TB 的对象上传到谷歌云存储桶答案

【问题标题】：upload greater than 5TB object to google cloud storage bucket将大于 5TB 的对象上传到谷歌云存储桶
【发布时间】：2020-02-13 19:50:39
【问题描述】：

单个对象上传的最大大小限制为 5TB。如何备份更大的单个工作负载？假设 - 我有一个 10TB 或更大的文件 - 需要备份到云存储？

另外，一个相关的问题 - 如果 10 TB 分布在单个文件夹中的多个文件（每个文件小于 5TB）中，那应该不会影响任何正确的事情吗？单个对象不能大于 5TB，但实际存储桶大小没有限制。假设一个文件夹包含 3 个等于 10TB 的对象，该上传将自动拆分到多个存储桶（控制台或 gsutil 上传）？

谢谢

【问题讨论】：

标签： google-cloud-platform storage

【解决方案1】：

你是对的。 The current limit on the size for individual objects is 5 TB。这样你就可以分割你的文件了。

关于 Total Bucket 大小的限制，这里有is no limit documented。实际上，概述中说"Cloud Storage provides worldwide, highly durable object storage that scales to exabytes of data."。你可以看看 GCS 的best practices。

【讨论】：

【解决方案2】：

也许看看http://stromberg.dnsalias.org/~dstromberg/chunkup.html？

我写它是为了备份到 SRB，这是 Google 和 Amazon 分桶的前身。但是 chunkup 本身并不依赖于 SRB 或任何其他形式的存储。

Usage: /usr/local/etc/chunkup -c chunkhandlerprog -n nameprefix [-t tmpdir] [-b blocksize]
-c specifies the chunk handling program to handle each chunk, and is required
-n specifies the nameprefix to use on all files created, and is required
-t specifies the temporary directory to write files to, and is optional.  Defaults to $TMPDIR or /tmp
-b specifies the length of files to create, and is optional.  Defaults to 1 gigabyte
-d specifies the number of digits to use in filenames.  Defaults to 5

您可以在http://stromberg.dnsalias.org/~strombrg/Backup.remote.html#SRB 中查看chunkup 的使用示例

HTH

【讨论】：