【问题标题】:What is the use of page-size parameter in AWS CLI under describe-stream在 AWS CLI 中 describe-stream 下 page-size 参数的用途是什么
【发布时间】:2021-10-15 02:53:06
【问题描述】:

我需要了解与 describe-stream AWS CLI 命令一起使用的 page-size 参数的用途是什么?

AWS 文档只是说 - 每个页面的大小

来源:Kinesis describe-stream @ docs.aws.amazon.com

【问题讨论】:

  • 我认为是分片大小。

标签: amazon-web-services aws-cli amazon-kinesis


【解决方案1】:

当我们迁移到 AWS 云中的任何服务时,数据大多是批量的,元数据也是如此。每个对象都有自己的空间和元数据。 AWS CLI 有一种很酷的方法将响应数据分页到分区中(外行语言)。

每个响应都有一个键来获取下一个分区,因此这是检索批量数据的方式,直到响应中的最后一个没有可用的键,这将是最后一个分区或数据结束。

因此,在 AWS CLI 中,我们可以设置 --page-size n,因为它指示要对可用数据进行分区,以便我们以更少的延迟获得响应,并允许在传输过程中平滑处理数据而不会丢失数据. 因此我们有一个称为起始令牌的键,它附加在每个响应中。

【讨论】:

  • 我尝试使用 page-size 进行分页但没有成功。还有另一个驱动分页的参数,即--max-items。使用 max-items 我能够进行分页,而不是页面大小。
【解决方案2】:

更新

page-size 参数用于控制 AWSCLI 和服务之间的结果分页。 AWSCLI 通常会为您处理分页。它将从服务请求响应页面,然后将完整列表返回给您。默认情况下,它使用 1000 的 page-size,但在某些情况下,这可能太大,并可能导致服务在生成响应时超时。在这种罕见的情况下,您可以使用 --page-size 选项告诉 AWSCLI 在与服务通信时使用较小的页面大小。请注意,这不会影响 AWSCLI 返回的实际结果,因为它仍会根据需要请求页面并将数据返回给您,就好像它们是连续的一样。

【讨论】:

  • 我尝试使用 page-size 进行分页但没有成功。还有另一个驱动分页的参数,即--max-items。使用 max-items 我能够进行分页,而不是页面大小。
  • 你是对的。 --page-size 选项有点晦涩难懂。我已经更新了我的答案,我希望能更好地解释它的用途。通常,您永远不必处理此选项。
【解决方案3】:

我认为简单的答案是 --page-size 限制每次服务调用返回的项目数,但这并不能控制 CLI 输出中显示的内容。要设置显示的项目数,可以使用参数--max-items。

因此,--page-size 通过每次 API 调用检索少于 1,000 个项目确实可以帮助您避免超时问题,并且--max-items 限制输出中显示的项目数作为分页的一部分。因此,您可以直观地看到使用 --max-items 的结果,而 --page-size 是在后台发生的。

【讨论】:

    猜你喜欢
    • 2021-11-12
    • 1970-01-01
    • 1970-01-01
    • 2021-09-26
    • 2018-12-14
    • 1970-01-01
    • 2018-07-20
    • 2018-12-08
    • 1970-01-01
    相关资源
    最近更新 更多