Pyspark 版本的 Amazon Deequ

【问题标题】：Pyspark version of Amazon DeequPyspark 版本的 Amazon Deequ
【发布时间】：2020-10-04 15:25:14
【问题描述】：

我正在使用 AWS Glue 并为我的 ETL 使用 pyspark API。我相信如果我需要使用 Amazon Deequ，我需要切换到 Scala。但是我仍然希望继续使用 Pyspark API。有出路吗？如果是，我需要在 AWS Glue 中遵循哪些步骤？

谢谢

【问题讨论】：

【解决方案1】：

有一个用于 Deequ 的 Python 包装器，名为 PyDeequ，它应该可以工作，虽然我自己没有使用过。

如果您想使用 Python，我建议您查看 Great Expectations library，它实现了与 Deequ 非常相似的功能，包括对 PySpark 的支持。

【讨论】：

谢谢亚历克斯。 PyDeequ 声称具有基本功能，并未涵盖所有功能。 Great Expectations Library 似乎使用的是纯 python，但我想坚持使用 pyspark，因为我有大量数据
它也支持 Spark
原 Py Deequ 将与官方 AWS Lab/python-deequ 项目合并。 github.com/awslabs/python-deequ