如何安全地从 kinesis firehose s3 存储桶中删除有问题的文档？

Question

我设置了一个 kinesis firehose 供其他人向我发送数据，并注意到有时数据有时会出现格式错误。格式错误的文档无法正确 ETL 到 redshift - 他们最终被留在中间 Firehose S3 存储桶中，在那里他们不断生成垃圾邮件错误消息，引用 STL_LOAD_ERRORS 表

是否有安全的方法从 S3 存储桶中删除有问题的记录？或者任何其他安全的方式来清理格式错误的记录？

--

请注意，我已经尝试从 S3 中删除格式错误的记录。这似乎将 Kinesys Firehose 置于无限循环中，生成错误垃圾邮件并显示以下消息：“Redshift 所需的一个或多个 S3 文件已从 S3 存储桶中删除”。据我所知，这种垃圾邮件应该最终会停止，但在我的实验中，它似乎会继续不间断地运行。

Answer 1

这是可行的。

1. STL_Load_Errors 表将为您提供 S3 中的文件名以及行号和错误原因。
2. 找到错误的记录并更正它，然后通过 firehose 从源重新传输。