【发布时间】:2020-04-25 18:34:20
【问题描述】:
这更多是对概念的澄清。我可以使用 Boto3 通过使用先前响应的 LastEvaluatedKey 重复查询来找到实际计数。
我想在 dynamoDb 中计算符合某些条件的项目。我正在使用“select = count”,根据文档 [1],它应该只返回匹配项的计数,并且 我的假设 响应不会被分页。
COUNT - 返回匹配项的数量,而不是匹配项 物品本身。
当我通过 aws-cli 尝试时,我的假设似乎是正确的,(就像文档 [1] 中的其他 api 示例一样)
aws dynamodb query \
--table-name 'my-table' \
--index-name 'classification-date-index' \
--key-condition-expression 'classification = :col AND #dt BETWEEN :start AND :end' \
--expression-attribute-values '{":col" : {"S":"INTERNAL"}, ":start" : {"S": "2020-04-10"}, ":end" : {"S": "2020-04-25"}}' \
--expression-attribute-names '{"#dt" : "date"}' \
--select 'COUNT'
{
"Count": 18817,
"ScannedCount": 18817,
"ConsumedCapacity": null
}
但是当我尝试使用 Python3 和 Boto3 时,响应是分页的,我必须重复查询直到 LastEvaluatedKey 为空。
In [22]: table.query(IndexName='classification-date-index', Select='COUNT', KeyConditionExpression= Key('classification').eq('INTERNAL') & Key('date').between('2020-04-10', '2020-04-25'))
Out[22]:
{'Count': 5667,
'ScannedCount': 5667,
'LastEvaluatedKey': {'classification': 'INTERNAL',
'date': '2020-04-14',
's3Path': '<redacted>'},
'ResponseMetadata': {'RequestId': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
'HTTPStatusCode': 200,
'HTTPHeaders': {'server': 'Server',
'date': 'Sat, 25 Apr 2020 13:32:36 GMT',
'content-type': 'application/x-amz-json-1.0',
'content-length': '230',
'connection': 'keep-alive',
'x-amzn-requestid': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
'x-amz-crc32': '133035383'},
'RetryAttempts': 0}}
我希望 Boto3 sdk 的行为与 aws cli 相同,因为响应似乎小于 1mb。 文档略有冲突...
“分页表查询结果”[2] 页面说:
DynamoDB 对查询操作的结果进行分页。带分页, 查询结果分为 1 MB 的数据“页面” 大小(或更小)。应用程序可以处理结果的第一页, 然后是第二页,以此类推。单个 Query 只返回一个结果 设置在 1 MB 大小限制内。
虽然“查询”[1] 页面显示:
单个 Query 操作将读取最大数量的项目 设置(如果使用限制参数)或最大 1 MB 的数据和 然后使用 FilterExpression 对结果应用任何过滤。
[1]https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_Query.html
[2]https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Query.Pagination.html
【问题讨论】:
标签: amazon-dynamodb boto3 aws-cli dynamodb-queries