即使前一个类失败，TestNG 仍继续执行测试类

Question

如果一个TestCase（类）失败了，为什么TestNG还要继续执行测试？

例如测试输出为：

1 test passed, 1 test failed.(3599,0 s)
    TestSuite FAILED
        run FAILED: check5=3 Expected: <3> got: <5>
        run passed (1.0s)    // <--- this should not have been executed

为什么还要执行第二次运行？我的 testngsuite.xml：

<suite name="TestSuite_03">
    <test name="TestCase_17">
        <groups>
            <run><include name="functest"/></run>
        </groups>
        <classes>
            <class name="TestStep_003" desc="will fail" />
            <class name="TestStep_012" desc="will pass" />
        </classes> ...

我正在通过 NetBeans 使用 Maven、TestNG 和 Java

我的结构：

public abstract class TestCommon
{
    @BeforeSuite(groups={"functest})
    public void BeforeSuite()
    {
        // clean report folder
    }
    @BeforeTest(groups={"functest})
    public void BeforeTest()
    {
        // start selenium browser
    }
    @AfterMethod(groups={"functest})
    public void AfterMethod()
    {
        // check for failure and capture screenshot
    }
    @AfterTest(groups={"functest})
    public void AfterTest()
    {
        // close browser
    }
}


public class TestStep_003 extends TestCommon
{
    @Test(groups = {functest})
    public void run()
    {
        assertThat(5, Matchers.equalTo(3)); // will fail
    }
}
public class TestStep_012 extends TestCommon
{
    @Test(groups = {functest})
    public void run()
    {
        assertThat(5, Matchers.equalTo(5)); // will pass
    }
}

Answer 1

你应该将你的测试用例设计成独立的，因为模块化降低了复杂性：如果测试是依赖的，如果最后一个测试用例失败了，你总是需要运行所有的测试用例，并且需要检查所有测试用例测试用例是否可能导致错误/失败。

使用独立测试，您可以运行所有测试，例如在夜间构建期间，即使其中一些失败。或者单独执行一个特定的。而且您不必担心测试的顺序。这就是为什么几乎所有的测试运行者都会执行所有的测试并且不保证他们的顺序。

这尤其适用于单元测试。对于一些集成测试和验收测试，一些依赖性可能是可以接受的。在这种情况下，请使用TestNG's dependency feature。