什么是好的测试自动化框架？答案

【问题标题】：What are good test automation frameworks?什么是好的测试自动化框架？
【发布时间】：2010-12-23 01:54:17
【问题描述】：

我正在寻找一种工具来集成许多不同类型的自动化和测试框架，以便完全自动化端到端的测试场景。例如，典型的工作流程可能是：

安装操作系统（Ghost 等）
配置操作系统（打开防火墙例外、设置用户等）
安装软件（Visual Studio、SQL 等）
运行测试（Visual Studio 单元测试、nUnit、自定义工具等）
针对上述运行生成报告
允许监控机器、进行中的测试以及安排测试运行

有人知道这样的系统可能存在吗？

【问题讨论】：

我投票决定将此问题作为离题结束，因为要求我们推荐软件框架或库的问题可能更适合softwarerecs.stackexchange.com

标签： testing frameworks automation automated-tests

【解决方案1】：

我认为，对于前三个步骤，您正在寻找一种方法来从定义良好的系统配置开始运行您的测试。像 VMware 或 Xen 这样的virtual machine (VM) manager 是解决这个问题的方法；您可以使用不同部署所需的确切配置存储多个 VM 快照。您还可以通过 API 自动启动 VM，您可以将其连接到您的构建系统。

【讨论】：

【解决方案2】：

我会质疑您在这里尝试实现的范围和目标，并且可能建议您需要将其分解为一组具有明确目标的明确定义的测试策略。

例如，我看不出您为什么要在每次运行单元测试时都安装整个操作系统、开发环境等。这应该是个别开发人员在他们自己的开发环境中在较短的迭代周期中所做的事情。

而像部署测试（从头开始测试您构建的应用程序和主机操作系统的完整用户安装可能是有意义的）这样的尝试将不那么频繁，并且需要一组完全不同的工具来执行您需要执行的工具单元测试。

实际上，这一切都是为了在开发生命周期的任何给定阶段分离您尝试实现的目标以及尝试如何测试，并围绕这些场景构建特定的独立测试流程。这可能比过度设计在单个工作流程中完成“所有事情”的东西更可取。

【讨论】：

假设您没有钱请测试员（相信我会发生）。您想花时间编码。你编写单元测试并运行它们，但你只有你的开发箱可以测试。即使您有 15 台计算机，您也可以花时间进行构建，然后花 6 个小时在每台计算机上进行安装和测试。或者你可以像你说的那样自动化它。干净的操作系统总是好的，但可选的。我想在这些计算机上启动构建、安装、运行压力测试、回归测试、自动化测试用例等。
另外，我正在谈论将所有这些“围绕这些场景的独立测试过程”绑定到更自动化、更少人工交互的东西中。