Google Cloud：选择正确的存储选项答案

【问题标题】：Google Cloud: Choosing the right storage optionGoogle Cloud：选择正确的存储选项
【发布时间】：2019-03-07 00:08:03
【问题描述】：

我正在用 Python 开发一个分布式应用程序。该应用程序有两个主要的包，包 A 和包 B，它们分别工作，但通过队列相互通信。换句话说，包 A 生成一些文件并将它们入队（推送）到队列中，包 B 在先到先服务的基础上将文件出列（弹出）并处理它们。包 A 和 B 都将作为 docker 容器部署在 Google Cloud 上。

我需要计划什么是保存文件和队列的最佳存储选项。文件和队列可以暂时存储和使用。

我认为我的选择是云存储桶或 Google 数据存储，但不知道如何选择以及什么是最佳选择。最好的选择是在开发方面成本低、可靠且易于使用的解决方案。

欢迎提出任何建议...谢谢！

【问题讨论】：

“文件”有多大？
有些文件非常小，最多 100 KB。有些是非常大的 .mp4 文件。

标签： python-3.x docker google-cloud-platform google-cloud-datastore cloud

【解决方案1】：

Google Cloud Storage 听起来是您的正确选择，因为它支持大文件。您不需要数据存储等提供的功能，例如其他字段的查询。

如果您只需要处理一次文件，当它首次上传时，您可以使用GCS pubsub notifications 并从 pubsub 触发您的处理器。

如果您需要更复杂的任务，例如一个任务可以分派给多个对同一个文件进行操作的子任务，那么最好使用单独的任务系统，例如celery，并在任务定义中传递 GCS URL。

【讨论】：