使用 AWS Lambda / CloudFormation 转换 AWS Kinesis Firehose 中的数据答案

【问题标题】：Transforming data in AWS Kinesis Firehose with AWS Lambda / CloudFormation使用 AWS Lambda / CloudFormation 转换 AWS Kinesis Firehose 中的数据
【发布时间】：2018-07-02 18:15:52
【问题描述】：

我在 AWS 博客上找到了 this guide，它说明了我正在尝试完成的一个示例。我目前有一个看起来像 Kinesis Stream --> Kinesis Firehose --> S3 存储桶的工作流，我想引入一个 Lambda，我可以在其中转换数据，然后再到达最终目的地。

首先，Lambda 蓝图的链接不适用于该文章。也不是官方的documentation for the data transformation in Firehose。有人有这个案例的可用 Python 蓝图吗？

其次，该指南显示，在 AWS 控制台中创建 Firehose 传输流时，Lambda 中有一个“启用”数据转换选项。但是，我在 CloudFormation documentation 中没有看到任何 AWS::KinesisFirehose::DeliveryStream 的属性可以完成同样的事情。如何在我的 CloudFormation 模板中启用此功能？

谢谢！

【问题讨论】：

标签： python amazon-web-services aws-lambda amazon-cloudformation amazon-kinesis-firehose

【解决方案1】：

对于 CF 问题，您关注的是 ExtendedS3DestinationConfiguration，更具体地说是 ProcessingConfiguration

这是一个简单的python processor

【讨论】：

ExtendedS3DestinationConfiguration 中的ProcessingConfiguration 不能包含在RedshiftDestinationConfiguration 下。
嗯，是的，当你指出 Redshift 时配置 S3 是没有意义的。