【发布时间】:2021-10-15 02:53:06
【问题描述】:
我需要了解与 describe-stream AWS CLI 命令一起使用的 page-size 参数的用途是什么?
AWS 文档只是说 - 每个页面的大小
【问题讨论】:
-
我认为是分片大小。
标签: amazon-web-services aws-cli amazon-kinesis
我需要了解与 describe-stream AWS CLI 命令一起使用的 page-size 参数的用途是什么?
AWS 文档只是说 - 每个页面的大小
【问题讨论】:
标签: amazon-web-services aws-cli amazon-kinesis
当我们迁移到 AWS 云中的任何服务时,数据大多是批量的,元数据也是如此。每个对象都有自己的空间和元数据。 AWS CLI 有一种很酷的方法将响应数据分页到分区中(外行语言)。
每个响应都有一个键来获取下一个分区,因此这是检索批量数据的方式,直到响应中的最后一个没有可用的键,这将是最后一个分区或数据结束。
因此,在 AWS CLI 中,我们可以设置 --page-size n,因为它指示要对可用数据进行分区,以便我们以更少的延迟获得响应,并允许在传输过程中平滑处理数据而不会丢失数据. 因此我们有一个称为起始令牌的键,它附加在每个响应中。
【讨论】:
更新
page-size 参数用于控制 AWSCLI 和服务之间的结果分页。 AWSCLI 通常会为您处理分页。它将从服务请求响应页面,然后将完整列表返回给您。默认情况下,它使用 1000 的 page-size,但在某些情况下,这可能太大,并可能导致服务在生成响应时超时。在这种罕见的情况下,您可以使用 --page-size 选项告诉 AWSCLI 在与服务通信时使用较小的页面大小。请注意,这不会影响 AWSCLI 返回的实际结果,因为它仍会根据需要请求页面并将数据返回给您,就好像它们是连续的一样。
【讨论】:
--page-size 选项有点晦涩难懂。我已经更新了我的答案,我希望能更好地解释它的用途。通常,您永远不必处理此选项。
我认为简单的答案是 --page-size 限制每次服务调用返回的项目数,但这并不能控制 CLI 输出中显示的内容。要设置显示的项目数,可以使用参数--max-items。
因此,--page-size 通过每次 API 调用检索少于 1,000 个项目确实可以帮助您避免超时问题,并且--max-items 限制输出中显示的项目数作为分页的一部分。因此,您可以直观地看到使用 --max-items 的结果,而 --page-size 是在后台发生的。
【讨论】: