如何将数据从 s3 存储桶读取到 Kinesis Stream

Question

我是 Kinesis 的新手。我想从 s3 存储桶读取数据到 Kinesis 流。我创建了一个名为“mystream”的运动流。在我的项目中，每 3 个月会有一条记录上传到 s3。同时我需要将记录读取到运动流。我创建了 Lamda 来读取文件并将其保存到 RDS 数据库实例中。我在 lambda 项目中发现有一个 kinesis 事件。这是做这件事的方法吗？请帮我得到这个。我不知道如何开始。如果有人可以帮助我，那就太好了....

Answer 1

如果我的理解正确，您的问题是关于如何将 s3 对象数据写入 kinesis。

您可以在 S3 中为 lambda 创建事件通知。在事件中，您可以选择事件（ObjectCreate (All)、put、post）。为每个对象创建操作成功创建后，您会在 lambda 中收到通知。在 lambda 事件上下文中，您可以获得每次调用的 s3 对象信息。

现在您可以读取对象信息并将其写入运动流。

使用 Java 的 AWS S3 和 Kinesis Stream 的链接

https://docs.aws.amazon.com/AmazonS3/latest/dev/RetrievingObjectUsingJava.html

https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-sdk.html

Answer 2

AWS 建议使用 AWS DMS 将文件从 S3 摄取到 Kinsis。

https://aws.amazon.com/blogs/big-data/streaming-data-from-amazon-s3-to-amazon-kinesis-data-streams-using-aws-dms/