在并行模式下使用 maven-surefire-plugin 时如何识别缓慢的单元测试？

Question

为了管理/减少我们的构建时间，我想确定哪些单元测试花费的时间最多 - 在并行测试环境中使用 maven-surefire-plugin。

我们使用JUnit (4.10) 进行单元测试。我们使用 maven (2.2.1 - 我们使用的一些插件还不支持 maven 3) 作为我们的主要构建工具，并使用 maven-surefire-plugin (2.19) 来运行单元测试。

我们在parallel mode 中使用maven-surefire-plugin，其中单个方法并行运行，单元测试类并行运行 - 这非常重要，因为它显着减少了构建单元测试时间。 maven-surefire-plugin在.pom中配置如下：

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>2.19</version>
    <configuration>
      <argLine>-Xmx2G -XX:MaxPermSize=1G -XX:-UseSplitVerifier</argLine>
      <failIfNoTests>false</failIfNoTests>
      <parallel>classesAndMethods</parallel>
      <useUnlimitedThreads>true</useUnlimitedThreads>
    </configuration>
  </plugin>

但是，其中一个含义是，在控制台输出中，每个 JUnit 测试类所用的时间是该类中所有方法的总时间。

例如，如果一个测试类有 10 个单元测试方法，每个方法需要 1 秒的时间来运行，那么测试类将需要大约 1 秒的时间来运行（每个方法并行运行），但输出将是类似：

运行 com.package.QuickParallelTest 测试运行：10，失败：0，错误： 0，跳过：0，经过的时间：10.0 秒 - 在 com.package.QuickParallelTest 中

这使得很难在控制台输出中将其与另一个具有 10 个单元测试方法的测试类区分开来，其中 9 个几乎立即运行，1 个几乎需要 10 秒才能运行。在这种情况下，测试类将需要大约 10 秒的时间来运行（因为一种缓慢的测试方法），但 maven-surefire-plugin 控制台输出实际上是相同的：

运行 com.package.SlowParallelTest 测试运行：10，失败：0，错误： 0，跳过：0，经过的时间：10.0 秒 - 在 com.package.SlowParallelTest 中

理想情况下，我希望用经过的时间来指示测试类运行（并行）所用的时间，而不是单独运行方法所用的总时间（就像单线程一样）。

所以，我的问题是：

1. 我是否缺少 maven-surefire-plugin 设置，以便打印摘要显示每个类所用的时间，而不是方法的汇总？
2. 这是maven-surefire-plugin 中已知的“错误”（或“功能”）吗？ （我检查了SureFire JIRA，但找不到类似的东西。）
3. 我是否有其他方法可以确定哪些测试需要很长时间，因此是优化的首要条件。

编辑：

我尝试过一些额外的配置设置。奇怪的是，将以下内容添加到 .pom 的配置中似乎会将控制台输出中经过的时间更改为运行测试类所花费的时间 - 但是，这（在我看来）是违反直觉的，因为这些设置是default settings:

    <configuration>
      ...
      <forkCount>1</forkCount>
      <reuseForks>true</reuseForks>
    </configuration>

Answer 1

在 Maven Surefire 插件配置中添加 reportFormat 条目并将其值设置为 plain（而不是默认的 brief）将为您提供每个方法的经过时间。

<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-surefire-plugin</artifactId>
            <version>2.19</version>
            <configuration>
                <argLine>-Xmx2G -XX:MaxPermSize=1G -XX:-UseSplitVerifier</argLine>
                <failIfNoTests>false</failIfNoTests>
                <parallel>classesAndMethods</parallel>
                <useUnlimitedThreads>true</useUnlimitedThreads>
                <reportFormat>plain</reportFormat>
            </configuration>
        </plugin>
    </plugins>
</build>

使用默认报告格式输出 (brief)：

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.sample.mocking.InternalServiceTestCase
Tests run: 4, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.241 sec - in com.sample.mocking.InternalServiceTestCase

plain 值的输出：

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.sample.mocking.InternalServiceTestCase
Tests run: 4, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.187 sec - in com.sample.mocking.InternalServiceTestCase
test(com.sample.mocking.InternalServiceTestCase)  Time elapsed: 0.005 sec
mockTest(com.sample.mocking.InternalServiceTestCase)  Time elapsed: 0.17 sec
mockTestFailureTollerance(com.sample.mocking.InternalServiceTestCase)  Time elapsed: 0.007 sec
mockProcessfile(com.sample.mocking.InternalServiceTestCase)  Time elapsed: 0.003 sec

此选项可能会为您提供有关测试和执行时间的更多详细信息。