不使用分区键查询 DynamoDB 表的全局二级索引答案

【问题标题】：Querying a Global Secondary Index of a DynamoDB table without using the partition key不使用分区键查询 DynamoDB 表的全局二级索引
【发布时间】：2021-03-30 02:58:13
【问题描述】：

我有一个分区键为userID 且没有排序键的 DynamoDB 表。该表在每个项目中还有一个timestamp 属性。我想检索时间戳在指定范围内的所有项目（不管userID，即跨越所有分区）。在阅读文档并搜索 Stack Overflow (here) 后，我发现我需要为我的表创建一个 GSI。因此，我使用以下键创建了一个 GSI：

分区键：userID
排序键：timestamp

我正在使用以下代码通过 Java SDK 查询索引：

String lastWeekDateString = getLastWeekDateString();
AmazonDynamoDB client = AmazonDynamoDBClientBuilder.standard().build();
DynamoDB dynamoDB = new DynamoDB(client);

Table table = dynamoDB.getTable("user table");
Index index = table.getIndex("userID-timestamp-index");

QuerySpec querySpec = new QuerySpec()
    .withKeyConditionExpression("timestamp > :v_timestampLowerBound")
    .withValueMap(new ValueMap()
            .withString(":v_timestampLowerBound", lastWeekDateString));

    ItemCollection<QueryOutcome> items = index.query(querySpec);
    Iterator<Item> iter = items.iterator();

while (iter.hasNext()) {
    Item item = iter.next();
    // extract item attributes here
}

执行此代码时出现以下错误：

Query condition missed key schema element: userID

据我所知，我应该能够仅使用排序键来查询 GSI，而无需对分区键提供任何条件。请帮助我了解我的实施有什么问题。谢谢。

编辑： 在阅读了here 的线程后，我们发现我们无法查询只有排序键范围的 GSI。 那么，如果有的话，还有什么替代方法可以通过对属性的范围查询来查询整个表？ 我在该线程中发现的一个建议是使用 year 作为分区键。如果所需的范围跨越多年，这将需要多次查询。此外，这不会将数据均匀地分布在所有分区中，因为只有与当前年份对应的分区将用于插入一整年。请提出任何替代方案。

【问题讨论】：

标签： amazon-web-services amazon-dynamodb aws-java-sdk aws-java-sdk-dynamodb

【解决方案1】：

使用 dynamodb Query 操作时，必须至少指定 Partition 键。这就是为什么您会收到需要userId 的错误。（在AWS Query docs）

条件必须对单个分区键值执行相等测试。

在没有分区键的情况下获取项目的唯一方法是执行扫描操作（但这不会按您的排序键排序！）

如果您想对所有项目进行排序，则必须创建一个 GSI，其分区键对于您需要的所有项目都相同（例如，为所有项目创建一个新属性，例如“类型”： “物品”）。然后您可以查询 GSI 并指定 #type=:item

QuerySpec querySpec = new QuerySpec()
    .withKeyConditionExpression(":type = #item AND timestamp > :v_timestampLowerBound")
    .withKeyMap(new KeyMap()
            .withString("#type", "type"))
    .withValueMap(new ValueMap()
            .withString(":v_timestampLowerBound", lastWeekDateString)
            .withString(":item", "item"));

【讨论】：

type 是分区键并且在所有项目中具有与 item 相同的值的问题是读取负载在单个分区上，这破坏了 DynamoDB 的可扩展性。我不想进行扫描，因为这会导致阅读所有项目并且成本更高。

【解决方案2】：

对于任何使用 DDB 的自定义查询要求，始终是好的解决方案是为 GSI 设计正确的主键方案。在设计DDB的主键时，主要原则是hash key应该设计用于对整个item进行分区，sort key应该设计用于对partition内的item进行排序。

话虽如此，我建议您使用时间戳的年份作为哈希键，将月份日期作为排序键。在这种情况下，您最多需要进行的查询次数最多为 2。你是对的，你应该尽可能避免过滤或扫描。

因此，例如，您可以像这样进行查询如果开始日期的年份和结束日期的年份相同，则只需要一个查询：

.withKeyConditionExpression("#year = :year and #month-date > :start-month-date and #month-date < :end-month-date")

还有这样的：

.withKeyConditionExpression("#year = :start-year and #month-date > :start-month-date")

和

.withKeyConditionExpression("#year = :end-year and #month-date < :end-month-date")

最后，您应该合并两个查询的结果集。最多只消耗 2 个读取容量单位。

为了更好地比较排序键，您可能需要使用 UNIX 时间戳。

谢谢

【讨论】：