【发布时间】:2019-02-27 07:18:58
【问题描述】:
为什么 kinesis firehose 需要先将数据放入 s3 存储桶,然后再应用复制命令将数据放入 Redshift?
【问题讨论】:
为什么 kinesis firehose 需要先将数据放入 s3 存储桶,然后再应用复制命令将数据放入 Redshift?
【问题讨论】:
S3 位置是复制命令从中获取要加载的数据文件的中间位置。请参阅此处的链接https://docs.aws.amazon.com/firehose/latest/dev/create-destination.html#redshift-s3-bucket
除了作为数据文件的路径之外,s3 位置还用于存储清单文件。这些文件包含要加载的文件名列表。您还会发现 firehose 已根据时间间隔创建了子文件夹。
【讨论】: