【问题标题】:Recommended method for uploading many small files to Google Cloud Storage via Python通过 Python 将许多小文件上传到 Google Cloud Storage 的推荐方法
【发布时间】:2017-12-27 18:44:41
【问题描述】:

我有一个项目需要定期将数百万个微小 (1 - 3 KB) 图像文件上传到 Google Cloud Storage。推荐的方法/库是什么?我目前正在使用gsutil,但想知道是否有更好的库。我最近遇到了google-cloud,但它似乎更慢(使用blob.upload_from_filename())。

我希望能够通过 Python(Windows)实现这一点,但如果它们提供显着的性能优势,我愿意接受其他选项。

有什么建议吗?

【问题讨论】:

    标签: google-cloud-storage google-cloud-python


    【解决方案1】:

    gsutil 已经进行了很多优化,我怀疑使用原始库是否会更快(尽管它可能更适合传输大文件而不是大量文件)。

    尝试将 -m 标志添加到您的 cp 命令以多线程上传。 https://cloud.google.com/storage/docs/gsutil/commands/cp

    在那之后,您可能唯一能做的就是在多台机器上并行化(每台机器复制文件的一个子集)。

    【讨论】:

    • 嗨@ScottDavis。我的理解是 gsutil 是 Google 开发的命令行实用程序,您可以将其安装在本地计算机上以与云交互。我同意你的说法,在 python 中使用 API 似乎有点麻烦。在我的所有 python 代码中,我使用子进程模块使用 gsutil 命令行。可能值得查看我对另一个查询 here 的回复,看看它是否对您有帮助:)
    猜你喜欢
    • 1970-01-01
    • 2015-08-28
    • 1970-01-01
    • 2014-01-05
    • 2018-12-23
    • 1970-01-01
    • 2017-04-02
    • 2019-11-07
    • 1970-01-01
    相关资源
    最近更新 更多