地图通话可以持续多长时间？

Question

我想在映射器的 map() 调用中做一些繁重的处理。 我正在浏览源文件 MapReduceServlet.java：

// Amount of time to spend on actual map() calls per task execution.
public static final int PROCESSING_TIME_PER_TASK_MS = 10000;

这是否意味着，地图调用只能持续 10 秒。 10秒后会发生什么？ 我可以将其增加到 1 分钟或 10 分钟之类的大数字吗？

-阿斯瓦特

Answer 1

MapReduce 操作是在使用Push Queues 的任务中执行的，正如documentation 中所说，任务截止日期目前是 10 分钟（在此限制之后您将获得DeadlineExceededException）。

如果任务执行失败，默认情况下 App Engine 会重试，直到成功。如果您需要超过 10 分钟的截止日期，您可以使用Backend 来执行您的任务。

看Worker.java中PROCESSING_TIME_PER_TASK_MS的实际使用情况，这个值是用来限制单个任务完成map调用的次数。

在每个map 调用执行后，如果自任务开始以来已经过去了超过 10 秒，它将产生一个新任务来处理其余的地图调用。

1. Worker.scheduleWorker 为每个给定的分片生成一个新任务
2. 每个任务都会调用Worker.processMapper
3. processMapper执行1 map调用
4. 如果自 2 以来经过的时间少于 PROCESSING_TIME_PER_TASK_MS。请返回 3。
5. 否则，如果处理未完成reschedule a new worker task

在最坏的情况下，默认任务请求截止日期（10 分钟）应适用于您的每个地图调用。