应用程序引擎 mapreduce 工作让我超出配额

Question

对于我的第一个 mapreduce 项目，使用 Google App Engine，Python 版本，我实现了一个简单的计数器：

def process(entity):
    yield op.counters.Increment("counter1")

在跑步的中途，我超过了配额。当我的配额明天重置时，它会从上次中断的地方继续，并最终产生最终结果，还是我需要足够的配额来执行整个任务，而不会被这种方式中断？

这只是练习。对于我“真正的”mapreduce 工作，我将修改我的数据库表中的每个条目。有什么好的方法可以保存我的表格数据，以防万一出现问题？

提前致谢。

Answer 1

Mapreduce 计数器存储在数据存储中，因此即使您长时间暂停 mapreduce，它们也会持续存在。

同样，在 mapreduce 中所做的修改会定期分批执行；您所做的更改或多或少会立即应用。