向 AWS Redshift 交付时附加在一起的 AWS Kinesis Firehose 数据

Question

我正在触发 lambda 以通过 Firehose 将数据发送到 Redshift。当 lambda 在很短的时间内（比如 1 分钟）被触发两次时，就会整理数据。这会在将数据加载到 redshift 时产生问题，并且问题是“找到额外的列”。

例如：第一组数据：1、2、3、4，第二组数据：5、6、7、8。 Redshift收到的数据：1,2,3,45,6,7,8

发生这种情况后，即使触发了一次 lambda，也没有数据加载到 Redshift 中。

为什么会这样？我怎样才能避免这种情况？

谢谢

Answer 1

这可能是由于在数据注入代码中省略了记录结束字符。除非更改，否则记录结束，这表明这是记录的所有数据。您需要在数据流中有一个。

当数据在时间上进一步分开时，这不是问题，因为 Firehose 在将其拥有的数据发送到 Redshift 之前只会等待固定的时间。在这种情况下，到达文件结束并假定记录结束。