直接从 AWS S3 存储桶上的 REST API 下载数据

Question

我需要通过从 AWS 云发出 GET 请求来从 REST api 下载数据并将数据放入 S3。我们在 AWS 中有可用的 REST 连接器来直接连接到 API 吗？

如果没有，那么我打算使用要求库使用 BASIC 身份验证向 API 发出 GET 请求，将响应 json 写入数据帧，将其展平，最后使用 **AWSwrangler **库将数据帧直接写入 S3 存储桶。

有没有其他更简单的方法来实现它，特别是考虑到数据的大小可能超过 5GB？

Answer 1

您需要先创建一个预签名的 url，然后您可以直接将文件上传到 s3。

每次你的 api 收到上传请求时，它都会首先创建一个预签名的 url，然后使用它来将数据上传到 s3。 This 可能有帮助。