如何进行 ETL 流程性能测试答案

【问题标题】：How to perform ETL process performace testing如何进行 ETL 流程性能测试
【发布时间】：2016-11-18 05:20:13
【问题描述】：

我被要求对 ETL 流程进行性能测试。我使用 Jmeter 对 Web 应用程序进行性能测试，但这是我第一次被要求为 ETL 流程进行测试。经过研究，我认为我想要实现的是以下步骤，但不知道如何实现它们。

步骤是

注意：我们公司没有使用任何工具来测试 ETL 流程，他们正在使用 java 进行测试，所以对于性能测试，我也不会提供任何付费工具，我必须使用开源技术。我的技能包括 java、Jmeter。

【问题讨论】：

【解决方案1】：

我认为没有任何特定的 ETL 测试工具。您仍然可以参考由底层 ETL 工具生成的日志文件，这些日志文件将具有 CPU 使用率/数据的执行/处理时间等。

【讨论】：

【解决方案2】：

我相信没有特定的工具可以对 ETL 流程进行性能测试。

但我们仍然可以使用 ETL 工具通过为每个进程生成日志来监控加载过程，在我的例子中，我们使用 Informatica Powercenter 监视器。我们通过检索到的日志手动计算加载时间、吞吐量等参数

【讨论】：