如何使用 gsutil 将大于 30MB 的文件上传到谷歌云存储？答案

【问题标题】：How do I upload a file size greater than 30MB to google cloud storage with gsutil?如何使用 gsutil 将大于 30MB 的文件上传到谷歌云存储？
【发布时间】：2014-11-26 00:55:07
【问题描述】：

我似乎找不到有关如何将大于 30MB 的文件上传到谷歌云存储的文档。我一直在使用：

gsutil cp test.csv gs://example

任何帮助都会很棒。谢谢

【问题讨论】：

您应该可以使用 gsutil 上传更大的文件。从理论上讲，它继承了 Google Cloud Storage 的限制，并且这个“支持可能达到 TB 大小的对象”[1]。您可以运行以下命令吗？：gsutil -D cp test.csv gs://example 这将为您提供更多详细信息。我希望您与我们分享这些信息（例如，您可以将其上传到 pastebin）。如果是这样，请记住删除该命令输出中出现的所有机密数据。 [1]cloud.google.com/storage/docs/overview#features
上传应该可以工作的大文件。当您尝试上传大于 30MB 的文件时遇到什么问题？
我已经使用相同的命令上传了许多大文件，并且运行良好。 gsutil -m cp -r source destination 这是我正在使用的命令。 -m 选项将其拆分为多个进程以使其更快。你能把错误日志放上去吗？

标签： google-cloud-storage gsutil

【解决方案1】：

如果您使用的是 CSV 格式，您也可以上传 gzip 版本。只需创建一个 gzip 文件并使用以下命令上传到 GCS：

gsutil cp <localgzipfile> gs://location/of/gzipfile.csv.gz

我正在使用此策略上传超过 200MB 的平面文件，其 gzip 版本仅为 40 MB。希望这可以帮助。

更多信息可以找到here

【讨论】：