如果失败，如何在 SuiteClass 中进行 JUnit 测试重试？

Question

我有以下 RetryRule 类：

public class RetryRule implements TestRule {
    private int retryCount;

    public RetryRule(int retryCount) {
        this.retryCount = retryCount;
    }

    public Statement apply(Statement base, Description description) {
        return statement(base, description);
    }

    private Statement statement(final Statement base, final Description description) {
        return new Statement() {
            @Override
            public void evaluate() throws Throwable {
                Throwable caughtThrowable = null;

                for (int i = 0; i < retryCount; i++) {
                    try {
                        base.evaluate();
                        return;
                    }
                    catch (Throwable t) {
                        caughtThrowable = t;
                        System.err.println(description.getDisplayName() + ": run " + (i + 1) + " failed.");
                    }
                }
                System.err.println(description.getDisplayName() + ": giving up after " + retryCount + " failures.");
                if (caughtThrowable != null) {
                    throw caughtThrowable;
                }
            }
        };
    }
}

还有以下 SuiteClass：

import org.junit.runner.RunWith;
import org.junit.runners.Suite;

@RunWith(Suite.class)
@Suite.SuiteClasses({
MakeBookingTest.class,
PaymentTest.class
})

public class TestSuite {
}

这有两个测试类.. MakeBookingTest 和 PaymentTest。他们每个人都有多个 JUnit 测试。

我希望在它们失败时重试它们。知道如何实现吗？

编辑：为了更好地理解，您可以使用我的代码来举例说明要添加的内容。谢谢。欣赏它。

Answer 1

首先我同意 GhostCat。
Flakey 测试代码是真正的问题。

但如果“flakeyness”不在您的代码中（例如，与外部 Web 服务的网络连接不良），那么重新运行测试可能会很有用。

在这种情况下，您可以执行以下操作。

首先创建一个接口注解。 （这将用于指示哪些测试需要重试。）

@Retention(RetentionPolicy.RUNTIME)
public @interface Retry {}

然后将TestRule 应用于我们的测试。 （如果存在Retry 注释，此规则将检查失败）

public class RetryRule implements TestRule {
    @Override
    public Statement apply(Statement base, Description method) {
        return new Statement() {
            @Override 
            public void evaluate() throws Throwable {
                try {
                    base.evaluate();
                } catch (Throwable t) {
                    Retry retry = method.getAnnotation(Retry.class);
                    if (retry != null) {
                        base.evaluate();
                    } else {
                        throw t;
                    }
                }
            }
        };
    }
}

最后在我们的测试中，我们把所有东西放在一起

public class RetryTest {
    private static int count = 0;

    @Rule
    public RetryRule rule = new RetryRule();

    @Test
    @Retry
    public void testToRetry() throws Exception {
        callMyFlakeyCode();
    }
}

Answer 2

一个明显的非回答，基于给出的评论：

有时它会失败，因为它们可能很脆弱。但是 99% 的时间，如果我重新运行……它会起作用。

在这种情况下，投入您的时间和精力来说服您的测试设置进行“重新运行”......这很可能是一项糟糕的投资。

您的问题不在于重试。你的真正问题是你有不稳定的测试。您投入所有时间和精力来了解您的测试不可靠的原因，然后您修复该问题。

其他任何事情都会无缘无故地增加设置的复杂性。您编写需要维护的特殊代码，更糟糕的是：所有未来的读者都必须理解“是的，这些测试在那里，我们只是重试它们直到它们通过”。这是人们迟早会接受的信息。