QualityChecker用于数据质量检查,共有两种类型的QualityChecker:第一种,行级别检查器。用来决定每一条被处理的数据时候能被的提交进入下一个阶段。第二种:任务级别检查器。QualityChecker设置为OPTINAL时,表示QualityChecker可选,当数据质量不满足QualityChecker的策略policy时,只打印警告信息,不阻断job运行,当设置为FAIL时,阻断job执行。


实现自定义QualityChecker

1.行检查器

2,总行数检查器

3.时间跨度检查器


Gobblin data quality checker



相关文章:

  • 2022-01-24
  • 2022-12-23
  • 2022-03-05
  • 2021-12-11
  • 2021-08-04
猜你喜欢
  • 2021-11-03
  • 2021-11-17
  • 2021-10-24
  • 2022-02-16
  • 2021-09-12
  • 2022-12-23
  • 2021-12-19
相关资源
相似解决方案