【问题标题】:Boto3 DynamoDb Query with Select Count without paginationBoto3 DynamoDb 查询与选择计数无分页
【发布时间】:2020-04-25 18:34:20
【问题描述】:

这更多是对概念的澄清。我可以使用 Boto3 通过使用先前响应的 LastEvaluatedKey 重复查询来找到实际计数。

我想在 dynamoDb 中计算符合某些条件的项目。我正在使用“select = count”,根据文档 [1],它应该只返回匹配项的计数,并且 我的假设 响应不会被分页。

COUNT - 返回匹配项的数量,而不是匹配项 物品本身。

当我通过 aws-cli 尝试时,我的假设似乎是正确的,(就像文档 [1] 中的其他 api 示例一样)

    aws dynamodb query \
    --table-name 'my-table' \
    --index-name 'classification-date-index' \
    --key-condition-expression 'classification = :col AND #dt BETWEEN :start AND :end' \
    --expression-attribute-values '{":col" : {"S":"INTERNAL"}, ":start" : {"S": "2020-04-10"}, ":end" : {"S": "2020-04-25"}}' \
    --expression-attribute-names '{"#dt" : "date"}' \
    --select 'COUNT'
 {
      "Count": 18817,
      "ScannedCount": 18817,
      "ConsumedCapacity": null
  }

但是当我尝试使用 Python3 和 Boto3 时,响应是分页的,我必须重复查询直到 LastEvaluatedKey 为空。

In [22]: table.query(IndexName='classification-date-index', Select='COUNT', KeyConditionExpression= Key('classification').eq('INTERNAL') & Key('date').between('2020-04-10', '2020-04-25'))

Out[22]:
{'Count': 5667,
 'ScannedCount': 5667,
 'LastEvaluatedKey': {'classification': 'INTERNAL',
  'date': '2020-04-14',
  's3Path': '<redacted>'},
 'ResponseMetadata': {'RequestId': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
  'HTTPStatusCode': 200,
  'HTTPHeaders': {'server': 'Server',
   'date': 'Sat, 25 Apr 2020 13:32:36 GMT',
   'content-type': 'application/x-amz-json-1.0',
   'content-length': '230',
   'connection': 'keep-alive',
   'x-amzn-requestid': 'TH3ILO0P47QB7GAU9M3M98BKJVVV4KQNSO5AEMVJF66Q9ASUAAJG',
   'x-amz-crc32': '133035383'},
  'RetryAttempts': 0}}

我希望 Boto3 sdk 的行为与 aws cli 相同,因为响应似乎小于 1mb。 文档略有冲突...

“分页表查询结果”[2] 页面说:

DynamoDB 对查询操作的结果进行分页。带分页, 查询结果分为 1 MB 的数据“页面” 大小(或更小)。应用程序可以处理结果的第一页, 然后是第二页,以此类推。单个 Query 只返回一个结果 设置在 1 MB 大小限制内。

虽然“查询”[1] 页面显示:

单个 Query 操作将读取最大数量的项目 设置(如果使用限制参数)或最大 1 MB 的数据和 然后使用 FilterExpression 对结果应用任何过滤。

[1]https://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_Query.html

[2]https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Query.Pagination.html

【问题讨论】:

    标签: amazon-dynamodb boto3 aws-cli dynamodb-queries


    【解决方案1】:

    我自己刚刚解决了这个问题。 AWS CLI 自动汇总来自 DynamoDB 查询的页面。要阻止它这样做,请将--no-paginate 添加到您的命令中,如this page 中列出的那样

    【讨论】:

    • 从带有紫色线的页面... "默认情况下,AWS CLI 使用 1000 的页面大小并检索所有可用项目。例如,如果您在 Amazon 上运行 aws s3api list-objects S3 存储桶包含 3,500 个对象,AWS CLI 自动对 Amazon S3 进行四次调用,在后台为您处理特定于服务的分页逻辑,并在最终输出中返回所有 3,500 个对象。”
    猜你喜欢
    • 2017-01-14
    • 1970-01-01
    • 2018-10-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-03-21
    • 1970-01-01
    相关资源
    最近更新 更多