数据管道的测试自动化答案

【问题标题】：Test Automation of data pipeline数据管道的测试自动化
【发布时间】：2020-04-27 00:14:02
【问题描述】：

我被要求对以下数据管道进行测试自动化。有人可以建议/指导我如何实现该管道的端到端自动化测试。

我正在寻找可用于整个测试自动化的框架和工具。

Oracle DW -> Apache Nifi -> AWS S3 (登陆区) -> [使用AWS Lambda step function & cloud watch] -> 将数据存入AWS Redshift -> Power BI

【问题讨论】：

【解决方案1】：

我为 Apache NiFi 维护了一个 Python 客户端，以便使用它自动进行部署和测试，因此这应该可以帮助您完成管道的初始阶段 https://github.com/Chaffelson/nipyapi

【讨论】：