【问题标题】:to resume the download by using gsutil使用 gsutil 恢复下载
【发布时间】:2022-02-05 00:53:31
【问题描述】:

我一直在使用gsutil下载文件,进程崩溃了。

gsutil 上的文档位于:

https://cloud.google.com/storage/docs/gsutil_install#redhat

文件位置描述于:https://genebass.org/downloads

如何恢复文件下载而不是从头开始?

我一直在寻找类似问题的答案,尽管这些答案已针对不同的问题提供。例如:

GSutil resume download using tracker files

【问题讨论】:

标签: google-apps-script google-cloud-platform gsutil


【解决方案1】:

如 GCP docs 中所述,使用 gsutil cp 命令:

只要您使用 cp 命令上传大于 8 MiB 的对象,gsutil 就会自动执行可恢复上传。您不需要指定任何特殊的命令行选项来实现这一点。 [。 . .] 同样,只要您使用 cp 命令,gsutil 就会自动执行可恢复下载(使用标准 HTTP Range GET 操作),除非目标是流。在这种情况下,部分下载的临时文件将在目标目录中可见。完成后,原始文件将被删除并被下载的内容覆盖。

如果您还在大型生产任务中使用 gsutil,您可能会在 Scripting Production Transfers 上找到有用的信息。

或者,您可以使用 Range 标头从 Google Cloud Storage 实现可恢复下载(请注意 HTTP 规范阈值)

【讨论】:

    【解决方案2】:

    我不确定您使用的是哪个命令(cprsync),但幸运的是,gsutil 会为您恢复下载。

    来自gsutil cp 的文档:

    gsutil 自动恢复中断的下载和中断的可恢复上传,执行流传输时除外。

    因此,如果您使用gsutil cp,它将自动恢复部分下载的文件,而无需重新开始。但是,使用cp 恢复也会重新下载已经完成的文件。为避免这种情况,请使用-n 标志,以便跳过您已经下载的文件,例如:

    gsutil -m cp -n -r gs://ukbb-exome-public/300k/results/variant_results.mt .
    

    如果您使用的是gsutil rsync,那么它将继续下载。

    【讨论】:

      猜你喜欢
      • 2016-03-23
      • 2012-11-20
      • 1970-01-01
      • 2019-04-21
      • 2017-04-13
      • 2020-08-17
      • 2013-07-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多