将数百万个数据点发送到烧瓶 API

Question

这个问题可能有点过于主观，但我正在寻找一种将数百万数据点发送到烧瓶 API 的最佳方法。

我目前的做法基本上如下：

• 发送作为 JSON 对象的数据点列表，以及发送与所有数据点相关的一些信息，例如收集数据的人员和收集日期
• 这将更新两个表，一个记录人员、日期等的Use 表，然后一个将数据点与给定用途相关联的Data 表。这一切都发生在对Use 端点的一个 POST 请求中

恐怕用这种方法发送数百万个数据点时可能会超时。

我正在寻找一种方法来解决这个问题，我一直在考虑的一些方法是

• 发送初始 POST 请求以创建 Use，然后将补丁中的数据点作为 PATCH 发送到同一端点或 POST 发送到新的 data 端点
• 在 POST 请求中发送 csv，然后通过服务器上的 csv 进行解析

在网上找不到任何类似的问题，所以在做这样的事情时看看是否有行业标准或最佳实践

Answer 1

无论您是通过 json 还是 csv 接收，它都会保留大量数据。您可能希望缩短 json 键或更改 json 数据类型以消耗更少的空间。

这取决于您是否使用 api 连接到您自己的网站，因为如果是这样，您可能只是截断数据（使用 js），并发送多个 ajax 请求以防止较慢的连接超时。如果您希望其他人使用您的 api，那么您可能想看看this question上的最后一个答案