【问题标题】:How to iterate through smaller chunks of data in API response如何在 API 响应中迭代较小的数据块
【发布时间】:2019-05-30 01:06:07
【问题描述】:

我正在使用的 API 遇到了限制。目前它可以返回的最大行数是 10000。目标是访问一个月的数据,有时可以达到 200000 行。此 API 允许按 start_at_row 和 row_limit 进行过滤。它还在响应中返回 row_count。我需要发出多个请求才能捕获所有 200000 行。我一直在弄清楚如何在前 10000 行之后触发下一个请求,以及如何准确地选择 10001 并运行接下来的 10000 行。有没有用于此问题的通用方法?欢迎任何建议。让我知道我可以从我的代码中提供哪些有用的信息。

【问题讨论】:

    标签: xml python-3.x beautifulsoup


    【解决方案1】:

    更新,经过一些试验和错误以及对 Google 的更多研究,我能够自己解决这个问题。

    我添加了 start_at_row 和 row_limit 作为全局变量,分别等于 1 和 2。

    从那里我添加了一个 while 循环(start_at_row

    用 start_at_row > row_limit 打破我创建的循环和 if 语句

    【讨论】:

      猜你喜欢
      • 2021-01-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-03-31
      • 2019-05-01
      • 2022-11-16
      • 1970-01-01
      相关资源
      最近更新 更多