从 amazon s3 读取超过 500MB 的数据并存储在 RDS PostgreSQL 中

Question

我有一个 RDS PostgreSQL 实例。我有自己的s3。在我的项目中，我将在 s3 中上传一些 excel 文件。当文件落在 s3 上时，我需要读取 excel 文件并将其存储到数据库中。

我使用 java 创建了一个 lambda 函数并将触发器添加到 lambda 函数。当文件落在 s3 上时，我的 lambda 函数会自动调用并读取文件并将其保存到数据库中。

但问题是在我的情况下，我的文件一次超过 100MB。 lambda 只工作 5 分钟。

所以我无法将我的文件完全保存到数据库中。我在 AWS 中听到了 kinesis。作为AWS的新手，我不知道如何使用它？有谁可以帮我弄这个吗？

Answer 1

Kinesis 可能无法解决您的问题。

您的情况的限制因素是 Lambda 函数的执行时间限制，最高为 5 分钟。

为了延长执行时间，我会使用 SQS 队列和 EC2 实例。当文件落入您的 S3 存储桶时，您可以将存储桶配置为将事件发布到 SQS 队列。请参阅示例 here 了解如何执行此操作。

EC2 实例定期轮询 SQS 队列以查找新事件。当一个新事件被放入队列时，EC2 实例检索该事件，并将 S3 文件的数据复制到您的数据库中。

编辑：Lambda 现在在执行 15 分钟而不是 5 分钟时停止