大量并行任务导致 aws swf 停止

Question

我使用 boto amazon swf api 进行测试。

在http://boto.readthedocs.org/en/latest/swf_tut.html这个页面上，它有一个名为“Parallel Activity Execution”的并行工作流示例，它在一个级别上有5个并行的活动。

但是，我在这个例子中测试了 500 个并行。它不起作用。工人将在大约 40-50 秒后停止并终止。

谁能告诉我为什么我不能运行大型并行作业？

Answer 1

SWF 中的每个工作流程都具有有限的容量。要扩展您的应用程序，您必须在多个工作流执行之间划分负载。 例如，如果顶级工作流启动 100 个子工作流，每个子工作流启动 100 个活动，那么最终会有 10k 个活动并行运行。

Answer 2

如果您查看示例，您并不总是返回 true。在这些示例中，工人和决策者只有在必须做某事时才返回 true。所以，你的 500 名工人，因为他们无事可做。