Spark管道的并行自动化测试

Question

我需要检查哪些技术选项用于 Spark 中数据工程管道的自动化测试 (QA)。

问题陈述：通过自动化有效地优化 BigData spark 作业的功能测试。需要通过并行运行场景来检查有效的数据创建和验证

Answer 1

没有可用于测试数据管道的自动化测试工具/技术。

但是，您可以创建自定义 Spark 框架来在不同的数据区域（L0、L1、L2 等）执行数据验证

Spark 可以将不同类型的数据（csv、xml、json、text、parquet 等）读入数据帧。

您可以推导出一个逻辑来比较两个数据帧。