在 AWS DynamoDB 达到限制大小时如何处理？

Question

我们正在尝试利用 AWS 的 DynamoDB 的 NoSQL 和 >IoT 的东西，但我们不确定关于物品长度或物品插入的最佳做法。

流程继续，每个设备都可以读取环境数据，根据捕获的数据类型，设备将 “事件” JSON 消息发送到 IoT 代理，然后到 Lambda 函数以映射该有效负载，对其进行处理并写入 DynamoDB 表。

然后，每种捕获的事件类型都有一个表，从设备接收到的每条事件消息都有一个项目。 但我们已经意识到这只是另一种伪关系方法。

阅读文档，并认为只有一个表作为最佳实践，每个设备在其中增长一个项目，其中包含按密钥名称分类的 JSON 事件数组。

类似：

    {
        "partition":"<str_an_id>"",
        "range":<uint_maybe_a_timestamp>,
        "event_soil":[
            {<<object with variable length #0},
            {<<object with variable length #1}
            ...
            {<<object with variable length #n}
        ],
        "event_humidity":[
            {<<object with variable length #0},
            {<<object with variable length #1}
            ...
            {<<object with variable length #n}
        ],
        "event_light":[
            {<<object with variable length #0},
            {<<object with variable length #1}
            ...
            {<<object with variable length #n}
        ],
        "event_temperature":[
            {<<object with variable length #0},
            {<<object with variable length #1}
            ...
            {<<object with variable length #n}
        ]
    }

目前我们有两个设备，因此我们预计有两个项目随着来自设备的JSON 有效负载而增长。但是，在某个时间点，内存阈值已达到，DynamoDB 中的 400 错误代码会出现。

这种方法对吗？还是完全错误？

是否有任何方法可以知道何时达到该限制？比如，某种分页之类的？

由于JSON 对象目前的长度不同，并且将来可能会有所不同，因此很难引入计算项目大小的数学方法。

我们还开始考虑每台设备每隔一两个月（理论上因为我们加速设备）创建项目。但是，不确定。

Answer 1

每个设备在其内部增长一个项目，其中包含按密钥名称分类的 JSON 事件数组。

如果我理解以上内容，以及代码示例...

我会说你做错了。反复更新一些记录不是一个好主意。除了您似乎认识到的项目空间不足之外，您还需要为所需的 I/O 支付两倍的费用（1 次读取 + 1 次写入）。不知道你的想法是从哪里来的..

对于物联网设备，好像你在处理时间序列数据，所以一定要了解Best Practices for Handling Time-Series Data in DynamoDB

也许只用两台设备就有点过头了……但假设你要大幅扩大规模……

我的第一遍是 Partition-Key：“deviceName#date”，排序键：“time”

在这种情况下，“日期”可以是完整的日期，YYYY-MM-DD，或者只是 YYYY-MM，甚至是 YYYY。将剩余的日期部分移动到排序键。一切都取决于您期望的数据量。需要考虑的是给定的分区（键）只能存储 10GB 的数据。

如果您可以将设备的数据保留限制在 10GB 以下，我只会使用设备作为分区键，将日期移动到排序键。

编辑
重点

1. 了解将生成（写入）多少数据
2. 了解您的应用如何将这些数据呈现给用户
3. 一个分区提供 10GB 的数据存储和 3000 个 RCU/1000 个 WCU
4. 您只能查询（）给定的分区。 (PartitionKey == "某事")

2 非常重要，假设您选择给定时间段（过去 24 小时、上周等），您是否要处理给定设备的所有事件、某种类型的所有事件、所有设备的所有事件，或 ....

并不是说您不能做到以上所有，但主要访问权限是什么？

“永远给我所有数据”每次都是 Scan()...当然不是一种经济高效的访问方法。