【问题标题】:What service should I use to process my files in a Cloud Storage bucket and upload the result?我应该使用什么服务来处理 Cloud Storage 存储分区中的文件并上传结果?
【发布时间】:2019-07-02 15:38:35
【问题描述】:

我有一个处理一些文件的软件。我需要的是:

  • 使用 API 或运行命令在 google cloud 上启动默认映像(我认为 docker 应该是一个很好的解决方案)
  • 从谷歌存储下载文件
  • 处理它,使用下载的文件运行我的软件
  • 将结果上传到谷歌存储
  • 关闭图片,希望不再收费

我所知道的是如何创建我的形象呵呵。但是我找不到任何信息来说明我应该使用什么谷歌云服务,或者即使我可以像我想的那样做。我想我没有使用正确的关键字来找到我需要的东西。

我正在研究 Kubernetes,但我不知道如何操纵这些实例来执行一次性处理。

[编辑]

更好地解释过程我有一个接收图像并将其发送到谷歌存储的应用程序。之后,我需要处理这些图像、应用过滤器、地理配准、分割图像等。所以我想启动一个 docker 图像来处理它并将结果再次上传到谷歌云。

【问题讨论】:

  • 为什么你认为你需要开始一个图像?您可能应该更多地解释您的任务正在尝试做什么,您正在执行什么样的处理,然后给出要求或限制,有人可以给出更明智的答案,否则只是猜测。
  • 好的,我进行了编辑。也许现在更清楚了。谢谢
  • 我提供了一个答案,听起来您完全可以根据您的编辑完全避免使用服务器或虚拟机。

标签: google-cloud-platform google-cloud-storage google-cloud-functions


【解决方案1】:

如果您使用任何runtimes supported by Google Cloud Functions,它们是执行此类操作的最简单方法(即从 Google Cloud Storage 获取内容,对这些文件执行一些操作并再次上传)。 Cloud Functions 将由您选择的事件触发,并且在作业完成后,它将死亡。

就复杂性而言,下一个选项是部署Google App Engine application in standard environment。它允许您为此环境部署自己的以any of the supported languages 编写的应用程序。当您的应用程序中有流量时,您将拥有正在服务的实例,但是当它们不提供服务时,正在运行的实例数量可能会减少到 0,这意味着成本会更低。

另一个选项是Google App Engine in flexible environment。该产品允许您在任何自定义运行时中部署您的应用程序。此选项始终至少运行一个实例,因此它永远不会关闭。

最后,您可以使用Google Compute Engine“在 Google 基础架构上创建和运行虚拟机”。除了 GAE,这不是由 Google 管理的,这意味着大部分配置取决于您。在这种情况下,您需要在完成操作后以编程方式指示您的 VM 关闭。

【讨论】:

    【解决方案2】:

    根据您的编辑,您声明您已经有一个将图像插入 Google Cloud Storage 的应用,您最简单的选择是使用由添加、更改或删除 Cloud Storage 存储分区中的对象触发的 Cloud Functions .

    您可以关注Cloud Functions tutorial for Cloud Storage 了解通用流程,然后实现您自己的代码来处理您的特定任务。还有其他教程,例如 Imagemagick tutorial for Cloud Functions,也可能与您打算执行的处理类型相关。

    Cloud Functions 可能是您最轻量级的方法。你当然可以做更全面的应用程序,但这可能是矫枉过正、更昂贵、更复杂。您可以使用 Node.js、Python 或 Go 编写处理代码。

    【讨论】:

    • 我查看了云功能,但我发现我无法自定义 VM。其实我忘了提到问题的那部分,对不起。我需要一个具有高内存和至少 4 个内核的 VM。我要做的是使用计算 API 创建一个实例,用我的算法在其中运行一个 docker,然后我必须将其关闭。现在我计划在我的算法之后如何从 docker 内部关闭实例。
    • 您应该在问题中更详细地解释您正在尝试做什么以及为什么您认为您需要一台具有这些限制的机器。你可能会做出错误的假设,这会让你付出代价。
    猜你喜欢
    • 2020-04-29
    • 2015-01-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-12-10
    • 2014-01-05
    • 1970-01-01
    • 2017-05-28
    相关资源
    最近更新 更多