【问题标题】:Recommended method for uploading many small files to Google Cloud Storage via Python通过 Python 将许多小文件上传到 Google Cloud Storage 的推荐方法
【发布时间】:2017-12-27 18:44:41
【问题描述】:
我有一个项目需要定期将数百万个微小 (1 - 3 KB) 图像文件上传到 Google Cloud Storage。推荐的方法/库是什么?我目前正在使用gsutil,但想知道是否有更好的库。我最近遇到了google-cloud,但它似乎更慢(使用blob.upload_from_filename())。
我希望能够通过 Python(Windows)实现这一点,但如果它们提供显着的性能优势,我愿意接受其他选项。
有什么建议吗?
【问题讨论】:
标签:
google-cloud-storage
google-cloud-python
【解决方案1】:
【讨论】:
-
嗨@ScottDavis。我的理解是 gsutil 是 Google 开发的命令行实用程序,您可以将其安装在本地计算机上以与云交互。我同意你的说法,在 python 中使用 API 似乎有点麻烦。在我的所有 python 代码中,我使用子进程模块使用 gsutil 命令行。可能值得查看我对另一个查询 here 的回复,看看它是否对您有帮助:)