Spark：写入 DynamoDB，写入容量有限

Question

我的用例是从 Spark 应用程序写入 DynamoDB。由于我对 DynamoDB 的写入容量有限，并且不想增加它的成本影响，我如何限制 Spark 应用程序以规定的速度写入？

这可以通过将分区减少到1然后执行foreachPartition()来实现吗？

我已经启用了自动缩放，但不想再增加它。

请提出其他处理方式。

编辑：这需要在 Spark 应用程序在多节点 EMR 集群上运行时实现。

Answer 1

桶调度程序

我这样做的方法是在您的 Spark 应用程序中创建一个token bucket scheduler。令牌桶模式是一种常见的设计，可确保应用程序不会违反 API 限制。我在非常相似的情况下成功地使用了这个设计。您可能会发现有人编写了一个可用于此目的的库。

DynamoDB 重试

另一个（不那么吸引人）选项是增加 DynamoDB 连接的重试次数。当您的写入由于超出吞吐量规定而未成功时，您基本上可以指示您的 DyanmoDB SDK 继续重试，只要您愿意。 this answer 中的详细信息。如果您想要一个“快速而肮脏”的解决方案，此选项可能会很有吸引力。