【问题标题】:How to download larg file from aws s3如何从 aws s3 下载大文件
【发布时间】:2020-06-25 20:03:01
【问题描述】:

我正在尝试下载functional map of the world dataset。它存储在 aws s3 中。数据集的github page 仅描述了如何从存储桶中下载 .json 文件,而不是记录本身。我尝试用aws s3 cp s3://spacenet-dataset/Hosted-Datasets/fmow/fmow-rgb/下载整个bucket,结果返回此路径不存在的错误。

有谁知道我需要哪些命令来下载数据?提前致谢。

【问题讨论】:

    标签: amazon-web-services amazon-s3 aws-cli


    【解决方案1】:

    如果要复制特定前缀,您应该运行以下命令

    aws s3 cp s3://spacenet-dataset/Hosted-Datasets/fmow/fmow-rgb . --recursive
    

    或者如果你想要整个桶那么下面

    aws s3 cp s3://spacenet-dataset . --recursive
    

    在这种情况下,. 将复制到您的当前目录,因此如果您希望它转到另一个目录,请通过替换 . 参数指定路径。

    【讨论】:

      【解决方案2】:

      你也可以使用aws s3 sync:

      aws s3 sync s3://spacenet-dataset/Hosted-Datasets/fmow/fmow-rgb/ .
      

      其中. 是当前工作文件夹。

      或者

      aws s3 sync s3://spacenet-dataset/Hosted-Datasets/fmow/fmow-rgb/ <path-to-dest-folder>
      

      其中&lt;path-to-dest-folder&gt; 是现有文件夹。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2020-11-22
        • 2020-05-20
        • 2010-11-06
        • 2019-03-04
        • 2018-10-10
        相关资源
        最近更新 更多