Aws Glue - 在 S3 表上合并 SQL

Question

我正在使用 AWS GLUE 为 DWH 管道开发我的 ETL。

我的暂存数据中有更新的行需要合并到我的表维度中。

“用户”维度示例： 在 S3 表“Dim_User”中，我有用户 A 字段 “team” 等于 'Sales' . 今天，我的管道已从源中读取数据，AWS Glue 作业在我的 S3 表“staging_dim_user”中写道，用户 A 在字段“team”中具有“New Sales Dept”。 使用 AWS Glue 如何合并“Dim_user”？ 是否可以通过 AWS Glue 实现我在 S3 上的 Merge SQL？ 在这种情况下，AWS GLUE 和 S3 表的最佳实践是什么？

Answer 1

您可能需要使用 Athena 通过查询合并这些数据

Athena 无法将保存在不同文件夹中的两个源合并到一个表中，您可能需要使用查询来合并数据

SELECT * FROM "database"."table_name"
UNION
SELECT * FROM "database"."table_name