从 dynamoDb 中提取数据并将其移动到另一个表的最佳方法

Question

我有一个 500GB 的表。我想根据时间戳将数据传输到另一个表。 表中有几个项目，我只想要另一个表中每个项目的最新条目。

考虑到桌子的大小，谁能推荐最好的 aws 服务来快速轻松地完成它？

我遇到了 aws 胶水、hivecopyactivity。这是最好的解决方案还是我可以使用其他任何服务？

Answer 1

（假设您现在可以在该表上添加一个全局二级索引（GSI），即：您当前有

在您的表上定义一个新的 GSI。 GSI 的分区键为x。 GSI 的排序键为timestamp。定义 GSI 后，您可以在该索引上执行 query 并将 ScanIndexForward 设置为 false 以首先获取最新项目。您需要提供您感兴趣的x 的值。在以下示例请求中，它被简单地设置为'abc'

{
    "TableName": "<your-table-name>",
    "IndexName": "<your-GSI-name>",
    "KeyConditionExpression": "x = :argx",
    "ExpressionAttributeValues": {
        ":argx": {"S": "abc"}
    },
    "ScanIndexForward": false,
    "Limit": 1
}

此查询查看具有给定 x 值（在 ExpressionAttributeValues 字段中设置）按降序排序的项目（按 GSI 的排序键，即 timestamp 字段）并选择第一个 ( Limit 设置为 1)。只要您不需要过滤（FilterExpression 字段为空），那么您将通过发出单个查询请求获得所需的结果。

如果您确实想要使用过滤，则需要执行多个请求并取消设置 Limit 字段（即，使用其默认值）。有关这些微妙之处的更多详细信息，请参阅this answer。