根据来自 S3 的记录过滤来自 Redshift 的记录

Question

我是 AWS 新手。我正在为以下用例设计解决方案。

我在 S3 中有一个关系数据库的副本，一个存储桶中有几个文件，每个文件代表一个表，列是用竖线分隔的。文件的总大小约为 2 GB。 我还有数十亿条记录分布在 redshift 的多个表中。

我需要根据 S3 中可用的记录（通过连接多个文件）过滤来自 redshift 的记录（通过连接多个表）并将其写入 DB/S3。

示例 - 假设 S3 具有包含产品详细信息的产品文件和包含标准详细信息的标准文件，当标准匹配时，产品应作为建议显示给客户。标准和产品表使用产品 ID 链接。例如，当客户已购买 ipad（条件）时，显示 ipad 配件（产品）作为建议

Redshift 具有包含客户列表的 Customer 表和包含他们购买的产品列表的 Product 表。产品和客户都使用 customerid 链接。

对于基于标准的 S3 中可用的每个产品，我需要根据他们已经购买的产品找到应该向其推荐产品的客户列表。

有人可以提供有关如何在 AWS 中实现这一目标的高层次想法吗？

Answer 1

查看 Redshift Spectrum，它将允许您定义存在于 S3 中的外部表。外部表将允许您仅从 S3 中提取符合您的条件的记录，然后将此信息加入您的客户表。

这应该适用于 Spectrum，因为您的 S3 数据不是很大，并且您在将结果传递给 Redshift 之前根据您的标准对其进行缩减。当您的 S3 数据通过简单的 WHERE 子句减少并通过 GROUP BY 减少时，Spectrum 最强大。这使得结果的网络流量在传回 RS 集群时保持较小。