直接从url下载大数据到google云存储Bucket答案

【问题标题】：Download large data directly from url to google cloud storage Bucket直接从url下载大数据到google云存储Bucket
【发布时间】：2019-10-12 20:20:11
【问题描述】：

我想从 URL“https”直接下载一个大型数据集到谷歌云存储（Bucket）。

我使用了 gsutil 流命令。通过谷歌云壳

curl -L https://../../..velodyne.zip | gsutil cp - gs://###/##/velodyne.zip

结果是

我们在您的 Google Cloud Shell 会话中检测到过多的出站网络流量。停止或减少此流量，否则您的会话将被终止。

【问题讨论】：

【解决方案1】：

这是因为您使用curl 下载到本地环境（云外壳），然后发送到 GCS。

有一种选择是给传输服务一个URL list，服务本身会将所有数据下载到存储桶中。

【讨论】：

【解决方案2】：

它将从您的本地计算机下载文件，然后将其用作 gsutil 命令的输入。您将无法使用 Cloud Shell 执行此操作，如果您的文件太大，您可能会点击“设备上没有剩余空间”。

您还在对 Jofre 帖子的评论中提到您已尝试存储传输服务但失败了。请分享错误，以便我们查看它是如何失败的，然后也许我们可以帮助您。

【讨论】：