如何将数据框转换为 great_expectations 数据集？

【问题标题】：How do you convert a dataframe to a great_expectations dataset?如何将数据框转换为 great_expectations 数据集？
【发布时间】：2021-01-22 06:21:47
【问题描述】：

我有一个 pandas 或 pyspark 数据框 df，我想在其中运行期望。我已经在内存中有我的数据框。如何将我的数据框转换为 great_expectations 数据集？

这样我可以做例如：

df.expect_column_to_exist("my_column")

【问题讨论】：

我不确定你的问题是什么以及你是如何解决的......

标签： python pandas pyspark great-expectations

【解决方案1】：

import great_expectations as ge

对于熊猫：

df_ge = ge.from_pandas(df)

或

df_ge = ge.dataset.PandasDataset(df)

对于 pyspark：

df_ge = ge.dataset.SparkDFDataset(df)

现在你可以运行你的期望了

df_ge.expect_column_to_exist("my_column")

注意，great_expectations SparkDFDataset 不继承 pyspark DataFrame 的函数。您可以通过df_ge.spark_df访问原始的pyspark DataFrame

【讨论】：

【解决方案2】：

另请参阅 Great Expectations 文档/教程，了解有关使用 ge.from_pandas 转换 Pandas DF 的替代版本：https://docs.greatexpectations.io/en/latest/guides/tutorials/explore_expectations_in_a_notebook.html

【讨论】：