文件停止在 Ubuntu 18.04 VM 中从 Google Cloud 存储桶下载

【问题标题】：File stops downloading in Ubuntu 18.04 VM from Google Cloud storage buckets文件停止在 Ubuntu 18.04 VM 中从 Google Cloud 存储桶下载
【发布时间】：2021-10-04 11:08:03
【问题描述】：

我正在尝试在运行 Ubuntu 18.04 的虚拟机中从我的 Google 存储下载一个大型数据集，但我的下载中途停止。我正在使用命令：

gsutil cp -r gs://my-storage-bucket/dataset1 /home/user/data

我设法下载了一个较小的数据集，但这个数据集的大小接近 4 GB，但每次它只是停止下载到 1.1 GB。首先 MB/S 下降，然后停止在 0.0 MB/S。

我已经增加了 VM 的磁盘大小，但这也无济于事。我删除了位于我的文件夹中的文件，该文件确保尽可能恢复下载，因为它不起作用。

有什么建议吗？

【问题讨论】：

标签： google-cloud-platform google-bucket

【解决方案1】：

它是否会在 0.0MB/s 时停止并且不会出错？能否请您尝试使用以下命令再次复制它？

gsutil \
-o "GSUtil:parallel_thread_count=1" \
-o "GSUtil:sliced_object_download_max_components=8" \
cp gs://my-storage-bucket/dataset1 /home/user/data

基本上，将两个参数传递给 gsutil 以设置切片对象的线程数和最大组件。

参考：https://cloud.google.com/storage/docs/gsutil/commands/cp

【讨论】：

是的，它没有出错。不幸的是，关闭连接后，我无法再通过 SSH 连接到我的虚拟机。它陷入了一个循环，这是另一个根据 StackOverflow 帖子没有直接解决方案的问题。我决定删除我的虚拟机并从头开始，因为整个过程耗时太长。这样做并制作了一个新的虚拟机后，我没有遇到问题。我希望其他人可以找到解决此问题的方法。