【问题标题】:multipart upload to S3 with Django-storages使用 Django-storages 分段上传到 S3
【发布时间】:2022-01-13 19:11:48
【问题描述】:

我正在使用 django-storages 将大文件上传到 s3。目前正在测试大小为 1GB 的文件,并希望将其拆分为多个部分以加快上传速度。

我尝试将 AWS_S3_MAX_MEMORY_SIZE 设置为 5mb 以查看是否有帮助,但没有运气。我在 django-storage 文档 https://django-storages.readthedocs.io/en/latest/backends/amazon-S3.html 中找不到任何其他分段上传设置。

【问题讨论】:

  • 您找到适合您任务的解决方案了吗?

标签: python django amazon-s3 multipart


【解决方案1】:

我发现了这个问题:https://github.com/jschneier/django-storages/issues/30

似乎在不久之后添加了对多部分上传的支持。从那以后代码发生了一些变化,但在这里你可以找到最新的代码:https://github.com/jschneier/django-storages/blob/master/storages/backends/s3boto3.py

参见 S3Boto3StorageFile 类的 __init 方法:您可以指定一个 buffer_size 作为参数(最小值为 5MB - AWS 的要求),或者通过设置 AWS_S3_FILE_BUFFER_SIZE 来指定。

我看到这不在文档中,但代码表明它应该可以工作。希望这会有所帮助(我自己还没有尝试过)。

编辑:找到可用设置的概述: https://gist.github.com/datagrok/2414f981380c751538751e7b3ab8e3e8

【讨论】:

    猜你喜欢
    • 2014-07-01
    • 2012-07-14
    • 2019-12-28
    • 1970-01-01
    • 2016-12-28
    • 1970-01-01
    • 2015-06-25
    • 2012-03-28
    • 1970-01-01
    相关资源
    最近更新 更多