如何解决 dynamodb 的吞吐量错误？

Question

Traceback（控制台的最后输出）：

File "batchpy.py", line 61, in <module>
obj.batch_w1()
File "batchpy.py", line 49, in batch_w1
batch.put_item(data=item)
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/table.py",   line 1641, in __exit__
self.resend_unprocessed()
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/table.py", line 1718, in resend_unprocessed
resp = self.table.connection.batch_write_item(batch_data)
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 420, in batch_write_item
body=json.dumps(params))
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2842, in make_request
retry_handler=self._retry_handler)
File "/usr/local/lib/python2.7/dist-packages/boto/connection.py", line 954, in _mexe
status = retry_handler(response, i, next_sleep)
File "/usr/local/lib/python2.7/dist-packages/boto/dynamodb2/layer1.py", line 2876, in _retry_handler
response.status, response.reason, data)
boto.dynamodb2.exceptions.ProvisionedThroughputExceededException:    ProvisionedThroughputExceededException: 400 Bad Request
{u'message': u'The level of configured provisioned throughput for the table was exceeded. Consider increasing your provisioning level with the UpdateTable API', u'__type': u'com.amazonaws.dynamodb.v20120810#ProvisionedThroughputExceededException'}

Answer 1

DynamoDB 使用预配置的吞吐量模型进行读取和写入。这意味着如果您的应用程序尝试执行比您分配给表的更多的读取或写入操作，它将收到错误。

AWS 已经做了很多事情来帮助解决这个问题：

• AWS SDK 客户端会在您看到 ProvisionedThroughputExceededException 之前自动重试请求几次
• bursts 中最多可以消耗 5 分钟未使用的容量，以适应​​请求高峰
• 您可以每天无限制地增加对表的预置读/写次数（以每秒执行更多读/写）
• 您可以减少表 9 times a day (4 times in the first 4 hours, and 1 each in the rest 4 hours window) 上的预置吞吐量（以节省资金）
• 您可以使用第 3 方应用 Dynamic DynamoDB 自动管理扩展和缩减预配吞吐量

根据您创建的应用类型，您可以采取多种措施来处理这些错误：

• 批处理或长时间运行的应用程序可以在这些请求发生时回退并重试这些请求以限制表的使用
• 从表中批量加载或批量读取时，您可以手动扩大吞吐量并在完成后缩小
• 对于事务性应用程序，您可以确保您的预置吞吐量高于运行应用程序所需的水平
• 自行使用动态 DynamoDB 或脚本更改来提高表吞吐量

Answer 2

有两种方法可以解决这个问题：

1. 提高吞吐量水平（对于此选项，您必须支付更多费用）。

2. 通常我们在某些时候必须做的方式是我们需要在应用程序级别实现逻辑。例如，调用 dynamoDB 来检查异常。如果超过吞吐量，请休眠几秒钟并再次调用相同的查询（这是我们在应用中实现的）。