使用 AWS lambda 读取 Kinesis 并保存到 S3

Question

我对 AWS 很陌生。到目前为止，我可以使用 aws .net sdk 将 csv 数据发送到 kinesis 流。现在我必须使用 lambda 使用 S3 Emitter 将这些数据保存在 S3 中（这是我在许多网站上找到的最常见的方式）。当我为它创建一个 Lambda 函数时。它要求提供 Node.js 或 java8 代码。 从这里我不明白，需要上传什么代码，如何使用S3 Emitter代码。 我无法使用 Kinesis Firehose，因为流数据将进入 EMR 进行处理。 请在这里帮助我。 如果有任何替代方式，请提出建议。

Answer 1

您需要编写代码，从 kinesis 流中获取事件并将其写入 S3（甚至更容易写入 Kinesis Firehose）。此代码应使用 Lambda 当前支持的一种编程语言（JavaScript、Java、Python）。 下面是 Kinesis 的阅读教程：http://docs.aws.amazon.com/lambda/latest/dg/with-kinesis-example.html

读取事件并将它们批处理到 S3 相对容易，甚至更容易将它们写入 Firehose 以在 S3 中获得更优化的批处理（更大、压缩、加密......）。