Google 应用引擎 cron 作业 10 分钟限制答案

【问题标题】：Google app engine cronjob 10 minitues limitationGoogle 应用引擎 cron 作业 10 分钟限制
【发布时间】：2014-08-18 16:15:58
【问题描述】：

我已经使用 cron.xml 在 GAE 上部署了 & Scheduled Fb 数据收集 java Web 应用程序。我的应用程序正在收集数据并将数据加载到谷歌云存储。

我在实现时发现 GAE 的一个限制是应用程序窗口只能通过 cron 作业激活 10 分钟。

数据收集过程需要 10 多分钟才能收集完整的数据。

请建议我一些替代选项。以及增加 10 分钟时间限制的参考链接。

谢谢。

【问题讨论】：

【解决方案1】：

您可以为您的 cron 作业选择具有 Basic Scaling 的 B 型实例。它没有 10 分钟的限制：

【讨论】：

或者使用任务队列来实现更健壮的实现（按块处理，重试错误等）
@Zig：任务根据其目标具有相同的时间限制。如果此作业不能拆分为可以在 F 实例上运行的小任务，则它应该以 B 实例为目标。但是，我同意每个可以拆分的作业都应该使用任务拆分。
是的，我假设它可以拆分。
我使用了默认推送队列。通过使用 queue.add(withurl("")) 方法将数据收集过程添加到 taskQueues 并将其部署到 GAE。在错误日志中，它连续显示发布 http/1.1 200 错误。并且没有将任何数据加载到 GCS。请帮我解决这个问题。

【解决方案2】：

您可以使用 mapreduce 库（在这种情况下仅用于地图阶段）并提供您自己的自定义输入（已经有一个可以写入 GCS 的输出）。 mapreduce 库也在使用 taskqueus，但它会根据需要将其工作划分为尽可能多的任务。

【讨论】：