失败后继续运行黄瓜步骤答案

【问题标题】：continue running cucumber steps after a failure失败后继续运行黄瓜步骤
【发布时间】：2013-03-08 16:20:19
【问题描述】：

即使其中一个步骤失败，是否有任何方法可以继续执行 Cucumber Steps。在我当前的设置中，当一个步骤失败时，黄瓜会跳过剩余的步骤....我想知道是否有某种方法可以调整黄瓜跑步者的设置..

我可以注释掉失败的步骤，但是当你不知道哪个步骤会失败时它不实用......如果我可以继续剩下的步骤，我会一次知道完整的失败测试集......而不是进入循环往复……

环境：Cucumber JVM、R、Java、Ibatis、Spring Framework、Maven

【问题讨论】：

标签： cucumber gherkin cucumber-jvm cucumber-junit

【解决方案1】：

在一个步骤失败后继续执行步骤不是一个好主意，因为一个步骤失败可能会给世界留下一个不变的违规行为。更好的策略是增加场景的粒度。不要用几个“Then”语句编写单个场景，而是使用示例列表来分别测试每个后置条件。有时，场景大纲和示例列表可以整合类似的故事。 https://docs.cucumber.io/gherkin/reference/#scenario-outline

关于添加功能以标记某些步骤以在失败后继续进行一些讨论。 https://github.com/cucumber/cucumber/issues/79

【讨论】：

我看到这是几年前的事了，但如果可以的话，能否请您更新损坏的链接？
“因为一个步骤失败会以不变的违反离开世界”。这个假设是正确的，但并非总是如此。在很多情况下，我需要检查一个值，仅仅因为该值不正确并不意味着场景的其余部分无法运行。

【解决方案2】：

一种方法是捕获所有断言错误，并在最后一步决定是失败还是通过测试用例。在这种情况下，您可以对其进行调整，例如，在任何步骤检查是否有超过 n 个错误，如果是，则测试失败。

这是我所做的：

为测试用例的 @Before 中的错误初始化 StringBuffer
捕获断言错误并添加到 StringBuffer，这样它们就不会被抛出并终止测试用例。

检查StringBuffer，判断测试用例是否失败。

StringBuffer verificationErrors;

// Initialize your error SringBuffer here

@Before
public void initialize() {
    verificationErrors = new StringBuffer();
}
// The following is one of the steps in the test case where I need to assert     something

@When("^the value is (\\d+)$")
public void the_result_should_be(int arg1) {
    try  {
        assertEquals(arg1, 0);
    }
    catch(AssertionError ae) {
        verificationErrors.append("Value is incorrect- "+ae.getMessage());  
    }

检查@After或测试用例最后一步中的StringBuffer，判断是否可以通过，如下：

if (!(verificationErrors.size()==0)) {
   fail(verificationErrors.toString());
}

唯一的问题是，在报告中，所有步骤看起来都是绿色的，但测试用例看起来失败了。然后您可能需要查看错误字符串以了解哪些步骤失败了。每当出现断言错误时，您都可以向字符串添加额外信息，以帮助您轻松找到步骤。

【讨论】：

"唯一的问题是，在报告中，所有的步骤看起来都是绿色的，但测试用例看起来失败了。"这正是你不想这样做的原因。

【解决方案3】：

使用SoftAssert 累积所有断言失败。然后将您的步骤定义类标记为@ScenarioScoped，并在步骤定义类中添加一个标记为@After 的方法，在其中执行 mySoftAssert.assertAll();

即

import io.cucumber.guice.ScenarioScoped;
import io.cucumber.java.After;
import io.cucumber.java.Before;
import io.cucumber.java.en.Then;

@ScenarioScoped
public class MyStepDefinitions {

SoftAssert mySoftAssert=new SoftAssert();

    @Then("check something")
    public void checkSomething() {
       mySoftAssert.assertTrue(actualValue>expectedMinValue);
    }

    @After
    public void afterScenario(Scenario scenario) throws Exception {
        mySoftAssert.assertAll();
    }
}

【讨论】：