城市学院 API 最大尺寸答案

【问题标题】：Urban Institute API max size城市学院 API 最大尺寸
【发布时间】：2022-01-18 04:25:01
【问题描述】：

我正在尝试编写一个 Python 包装器来访问来自 Urban Institute 数据集 link to the docs 的数据，但输出上限为 3000 行。文档没有提及任何关于身份验证或如何绕过此限制的内容。在我的代码下面：

url = "https://educationdata.urban.org/api/v1/schools/ccd/directory/2014/?fips=26"
response = urllib.request.urlopen(url)
data = pd.json_normalize(json.loads(response.read()), record_path=['results'])

这个数据集上限是3k，但是如果你直接粘贴到浏览器上，你可以看到超过3.5k。

【问题讨论】：

标签： python json api

【解决方案1】：

问题是我需要检索 API 响应的每一页，位于拉取所有页面的代码下方。

import requests
url = "https://educationdata.urban.org/api/v1/schools/ccd/directory/2014/?fips=26"
response = requests.get(url)
data = response.json()
while data['next'] is not None:
    response = requests.get(data['next'])

API 报废愉快！

【讨论】：