【发布时间】:2022-01-03 20:03:33
【问题描述】:
我正在努力解决一个 great_expectations 集成问题。
我显然将 RunGreatExpectationsValidation 任务用于:
validation_task = RunGreatExpectationsValidation()
with Flow(
"GE_pull_and_run",
) as GE_pull_and_run_flow:
.......
validation_task(
context_root_dir=root_dir,
checkpoint_name=expectation_checkpoint_name
)
当我在 GE 上运行命令时(great_expectations --V3-api checkpoint run my_checkpoint),它可以工作,但是在完美任务中,我有一个例外: 使用 GE V3 api:
.....
File "c:\Users\vincent2\DK\prefect.data.pipeline\venv\lib\site-
packages\prefect\tasks\great_expectations\checkpoints.py", line 246, in run
for batch in ge_checkpoint["batches"]:
TypeError: 'Checkpoint' object is not subscriptable
与 GE V2 api 相同
...
for batch in ge_checkpoint["batches"]:
TypeError: 'LegacyCheckpoint' object is not subscriptable
Great_expectations=0.13.43(也尝试使用 0.12.10 版本)
完美=0.15.9
有人经历过这个pb吗?
谢谢
【问题讨论】:
-
社区经理的远大期望在这里...目前这里有一个未解决的问题:github.com/great-expectations/great_expectations/issues/3609 我们的社区正在努力使 Prefect 运算符与 V3 一起工作。如果您愿意,我们将更新该问题中必要工作的进展。它将涉及关于 Prefect 和 Great Expectations 的 PR,一旦我们拥有它们,我们将链接到它们。
标签: prefect great-expectations