Google App Engine 屏障同步

Question

我有 n 个并行任务正在运行。完成所有这些任务后，我想创建另一个任务。做这个的最好方式是什么 ？由于数据存储操作较慢，因此我使用了 memcache。每个任务完成后，我都会将计数器加 1。我一直在柜台上查看 n。由于 memcache 不可靠，因此有时会丢失计数器值。还有其他解决方案吗？

Answer 1

由于您无法承受丢失计数器的后果，因此您需要使用数据存储来确保您的计数器不会丢失（例如，由于意外的 memcache 驱逐）。但是，您也可以将值存储在 memcache 中 - 这样您仍然可以从 memcache 中快速读取计数器（如果 memcache 条目已过期，则转到数据存储区获取计数）。

如果您有太多任务并行运行以至于增加数据存储计数器的速度太慢，那么请考虑使用sharded counter 来缓解这个瓶颈。

Answer 2

我建议使用appengine-pipeline

本质上，它使用模型实现了屏障。