如何恢复以前快照中不存在的红移数据？

Question

目前，我们每 1 小时自动手动备份一次红移数据。 假设集群出现故障并且从快照中恢复了数据，我还想恢复快照中不存在的数据。

P.S：在我们迁移到 redshift 之前，s3 中存在完整的数据。

我该如何解决这个问题？这样我就可以在快照还原后将剩余数据从我的 s3 转移到 redshift。

Answer 1

您需要在 Redshift 和 S3 中都有一些指示器，以便知道加载了哪些数据。

例如，如果您在 S3 上的数据按年、月、日和小时进行分区，如下所示：

s3://my_bucket/my_prefix/year=2017/month=3/day=11/hour=10/my_file_parts.pt001.gz

然后，您希望在 Redshift 表中包含年、月、日和小时列，以便您可以找到已加载的最大分区。

SELECT  MAX(year||month||day||hour) FROM my_table

然后您可以重新加载 Redshift 中当前不存在的任何分区。