自动化测试用例执行 - 何时停止答案

【问题标题】：Automated Test case Execution - when to stop自动化测试用例执行 - 何时停止
【发布时间】：2011-10-05 22:31:15
【问题描述】：

我们的系统有大约 100 个测试用例。我们正在尝试为它构建一个自动化测试套件。

运行测试时说第 25 次测试失败。我们的自动化测试系统应该在这里退出并停止执行，还是应该将其标记为失败并继续尝试从 26 日开始执行测试用例（即每个测试周期将执行所有 100 个测试用例，而不管任何失败的测试用例）。

当然，在失败的测试用例（例如第 25 号）之后，如果需要重置系统以执行第 26 号之后的测试用例，它将得到处理。

谢谢

詹姆斯

【问题讨论】：

【解决方案1】：

如果您的测试是独立的 - 您应该完成所有测试。这样您就可以监控系统稳定性并立即查看所有问题，而无需无数次重新运行测试。

【讨论】：

【解决方案2】：

如果这是在没有人工干预的情况下运行的，比如作为一些自动构建的一部分，我想尝试所有测试。

但是，在某些情况下，您正处于解决问题的模式中，这可能会节省人们停下来的时间。如果这很容易，我想提供“第一次失败时停止”选项。

【讨论】：

您能举出这种情况的任何例子吗？我想不出来。
@Max：我可以想到一个用于在旧测试完成之前无法开始新测试的情况。如果您的测试套件通常需要一个小时才能运行，并且您正在快速修复 5 分钟，那么当您尝试使用 test 修复错误时，您不希望等待一个小时来重新运行您的测试# 2.
@Bryan Oakley：当测试相互依赖时——通常的做法是不将它们分开。它们应包含在 1 个测试块/方法/单元/等中。因此，如果您有test1()、test2and3and4() 和test5()，则在第一次执行时test1() 和test5() 将通过而test2and3and4() 将失败。然后你修复并重新运行所有内容 - test2and3and4() 也通过了。