动态存储 API 数据

Question

我必须从 API 中提取数据并返回包含所需信息的报告。 例如：

request_data = {'url1 : https://abcd.com','url2 : https://dfgh.com','url3 : https://hjkl.com',column : (name,Ecode,salary,status)}

x1 =  '{ "name":"John", "age":30, "city":"New York"}'

x2 = '{ "name":"John", "age":30, "Ecode":"4567"}'

x3 = '{ "name":"John", "salary":30k, "Status":"Yes"}'

这里的 request_data 是我通过消息队列收到的 get 请求，x1,x2,x3 是我们在从 python 运行 get 请求后获得的值。获得数据后，我将其转换为 pandas 数据框并使用 pandas 数据框合并创建一个新的数据框。

但获取请求中的 url 数量不会是 3。应该是 2,5,1 等等。所以我们不能明确地将变量命名为 x1,x2,x3 作为存储数据的变量。

我想让代码更加动态，以便我们从消息队列中获得任意数量的 url 请求，我们需要从这些 url 中获取数据并创建一个包含所需列的新数据框。

有人可以在这里帮助我或指向一些参考链接。

Answer 1

您可以先创建一个名为cumulative_df 的空数据框，您可以在其中收集不同API 调用的响应。

然后，遍历 URL 列表；在循环中，对于每个 URL：

1. 进行 API 调用（例如，通过使用请求库）。
2. 将 JSON 响应转换为数据帧（例如，使用 pandas.json_normalize）
3. 将 json_normalize 创建的数据框添加到cumulative_df（例如，使用pandas.concat）

这可以对列表中任意数量的 URL 进行。

编辑：如果无法连接/附加数据帧，您可以使用计数器来命名变量并将数据帧分配给循环内的变量。起初，'x'+str(i) 将产生 x1。然后将计数器加 1，循环的下一个实例将创建 x2，依此类推。