在json中使用chunk，请求将大数据输入python答案

【问题标题】：Using chunk in json, requests to get large data into python在json中使用chunk，请求将大数据输入python
【发布时间】：2017-03-14 18:44:32
【问题描述】：

我正在尝试使用 API 将大量数据导入 python。但我无法获得全部数据。该请求只允许检索前 1000 行。

r = requests.get("https://data.cityofchicago.org/resource/6zsd-86xi.json")

json=r.json()
df=pd.DataFrame(json)
df.drop(df.columns[[0,1,2,3,4,5,6,7]], axis=1, inplace=True) #dropping some columns
df.shape

输出是

(1000,22)

该网站包含近 600 万个数据点。然而，只有 1000 个被检索到。我该如何解决这个问题？分块是正确的选择吗？有人可以帮我写代码吗？

谢谢。

【问题讨论】：

标签： python json api python-requests chunking

【解决方案1】：

您需要对结果进行分页以获取整个数据集。大多数 API 会限制单个请求中返回的结果数量。根据Socrata docs需要在请求url中添加$limit和$offset参数。

例如，对于结果的第一页，您可以从 - https://data.cityofchicago.org/resource/6zsd-86xi.json?$limit=1000&$offset=0

然后对于下一页，您只需增加偏移量 - https://data.cityofchicago.org/resource/6zsd-86xi.json?$limit=1000&$offset=1000

继续递增，直到拥有整个数据集。

【讨论】：