雪花 - 比较 2 个表格并发送不匹配通知

Question

我正在寻找从雪花或 aws 端或通过使用 python 或 scala 的胶水作业/lambda 函数设置警报通知。

我想比较 2 个表，它们在源和目标中包含表名和计数。

数据通过 aws 胶水作业从 s3 加载到雪花，之后我想比较这两个表以验证源和目标记录计数是否匹配，如果有任何不匹配，请发送通知。

请让我知道您为完成这项任务所做的投入。

谢谢， 乔

Answer 1

如果您使用 AWS Glue 在 Snowflake 中加载表，您可以继续使用 Glue 来编排所需的结果：

• 让 Glue 加载表格。
• 让 Glue 在 Snowflake 中运行一个存储过程，比较两个表。
  • https://snowflakecommunity.force.com/s/article/How-to-Use-AWS-Glue-to-Call-Procedures-in-Snowflake
• 让 AWS Glue 通过 SNS 发送通知。
  • https://aws.amazon.com/blogs/big-data/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/
  • 请参阅“使用 Amazon CloudWatch Events 进行监控和通知”一章。

如果您需要 SQL 用于比较两个表的存储过程，请随时添加一个新问题。