在 ETL 项目中进行自动化端到端测试的最佳方法是什么？答案

【问题标题】：What is the best approach for Automation End To End Testing in an ETL Project?在 ETL 项目中进行自动化端到端测试的最佳方法是什么？
【发布时间】：2020-09-04 06:21:57
【问题描述】：

我们有一个 ETL 项目，其中来自一个 UI 应用程序的数据在一系列应用程序（转换/逻辑）中向下流动。

总的座右铭是在“UI 2”中查看“UI 1”的数据。 'Spring Java Server 1' 调用 UI1 Server 的 API，数据流入不同的服务器并保存在数据库中。脚本还会在数据库中保留一些数据。 'UI 2 with Backend server' 从数据库中获取数据并在 UI 中显示。

现在的问题是，我正在寻找执行 E2E 测试的最佳方法。我们将首先触发“Spring Java Server 1”，它调用“带有 BackendServer 1 的 UI 1”的 API，最后使用 selenium 查看“UI 2”中的数据。

我正在考虑使用 UI 创建一个单独的 Java 应用程序，仅用于测试触发“服务器 1”并使用 selenium 验证 UI2 但问题在于脚本。在数据库之后，我们必须手动运行脚本，然后等待它完成。我们如何通过某种状态管理自动手动运行脚本？

请就 E2E 架构提出更多建议，或者我该如何增强此 E2E 设置。以及我可以使用哪些工具/框架。

【问题讨论】：

标签： java testing automated-tests integration-testing end-to-end

【解决方案1】：

关于自动执行脚本，请查看 PowerShell。它是一个强大的工具，用于自动执行重复且耗时的任务，例如自动执行脚本而不是手动执行。您还可以创建连接到 SQL Server 以运行命令的自定义 PowerShell 脚本。如果您正在寻找 ETL 自动化工具来跟踪来自源的数据，通过 ETL 处理直到它加载到目标，那么您需要评估很多可用的选项以查看哪个适合您。查看 dbt、RightData、QuerySurge、Datagaps ETL Validator、SSISTester、TestBench、DbFit 或 AnyDbTest。

【讨论】：