串行执行单元测试（而不是并行）

Question

我正在尝试对我编写的 WCF 主机管理引擎进行单元测试。该引擎基本上根据配置动态创建 ServiceHost 实例。这使我们能够动态地重新配置哪些服务可用，而无需在添加新服务或删除旧服务时关闭所有服务并重新启动它们。

但是，由于 ServiceHost 的工作方式，我在对该主机管理引擎进行单元测试时遇到了困难。如果已经为特定端点创建、打开并且尚未关闭 ServiceHost，则无法为同一端点创建另一个 ServiceHost，从而导致异常。由于现代单元测试平台并行执行测试，我没有有效的方法对这段代码进行单元测试。

我使用过 xUnit.NET，希望由于它的可扩展性，我可以找到一种方法来强制它连续运行测试。但是，我没有任何运气。我希望 SO 上的某个人遇到过类似的问题，并且知道如何让单元测试连续运行。

注意：ServiceHost 是一个 WCF 类，由 Microsoft 编写。我没有能力改变它的行为。只托管每个服务端点一次也是正确的行为......但是，它并不是特别有利于单元测试。

Answer 1

对于 .NET Core 项目，您可以使用 xunit.runner.json 文件配置 xUnit，如 https://xunit.net/docs/configuration-files 中所述。

停止并行测试执行需要更改的设置是parallelizeTestCollections，默认为true：

如果程序集愿意在此程序集中彼此并行运行测试，请将其设置为 true。 ... 将此设置为 false 以禁用此测试程序集中的所有并行化。

JSON 模式类型：boolean
默认值：true

因此，用于此目的的最小 xunit.runner.json 看起来像

{
    "parallelizeTestCollections": false
}

如文档中所述，请记住将此文件包含在您的构建中，方法是：

• 在 Visual Studio 中的文件的 Properties 中将 Copy to Output Directory 设置为 Copy if newer，或

• 添加

    <Content Include=".\xunit.runner.json">
      <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
    </Content>
  

  到您的.csproj 文件，或

• 添加

    "buildOptions": {
      "copyToOutput": {
        "include": [ "xunit.runner.json" ]
      }
    }
  

  到您的project.json 文件

取决于您的项目类型。

最后，除了上述之外，如果您使用的是 Visual Studio，请确保您没有意外单击 Run Tests In Parallel 按钮，该按钮即使您在xunit.runner.json 中关闭了并行化，也会导致测试并行运行。微软的 UI 设计师巧妙地将这个按钮设置为无标签、难以注意到，并且距离测试资源管理器中的 “全部运行” 按钮大约一厘米，只是为了最大限度地提高你误击它的机会并且不知道为什么您的测试突然失败：

Answer 2

每个测试类都是一个唯一的测试集合，它下的测试将按顺序运行，因此如果您将所有测试放在同一个集合中，那么它将按顺序运行。

在 xUnit 中，您可以进行以下更改以实现此目的：

以下将并行运行：

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

要使其连续，您只需将两个测试类放在同一个集合下：

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

更多信息可以参考this link

Answer 3

重要提示：此答案适用于 .NET Framework。对于 dotnet 核心，请参阅 Dimitry 关于xunit.runner.json 的回答。

所有好的单元测试都应该 100% 隔离。使用共享状态（例如，取决于每个测试修改的 static 属性）被视为不好的做法。

话虽如此，您关于按顺序运行 xUnit 测试的问题确实有答案！我遇到了完全相同的问题，因为我的系统使用了静态服务定位器（不太理想）。

默认情况下，xUnit 2.x 并行运行所有测试。这可以通过在您的测试项目的 AssemblyInfo.cs 中定义 CollectionBehavior 来针对每个程序集进行修改。

对于每个组件的分离使用：

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

或者根本不使用并行化：

[assembly: CollectionBehavior(DisableTestParallelization = true)]

后者可能是您想要的。有关并行化和配置的更多信息，请访问xUnit documentation。

Answer 4

对我来说，在 .Net Core Console 应用程序中，当我想同步运行测试方法（而不是类）时，唯一有效的解决方案是这个博客中描述的： xUnit: Control the Test Execution Order

Answer 5

到目前为止，没有一个建议的答案对我有用。我有一个带有 XUnit 2.4.1 的 dotnet 核心应用程序。 我通过在每个单元测试中放置一个锁来实现所需的行为。就我而言，我并不关心运行顺序，只是测试是顺序的。

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}

Answer 6

这是一个老问题，但我想为像我这样新搜索的人写一个解决方案:)

注意：我在 Dot Net Core WebUI 与 xunit 版本 2.4.1 的集成测试中使用此方法。

创建一个名为 NonParallelCollectionDefinitionClass 的空类，然后将 CollectionDefinition 属性赋予该类，如下所示。 （重要的部分是 DisableParallelization = true 设置。）

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

然后将 Collection 属性添加到您不希望它并行运行的类，如下所示。 （重要的部分是集合的名称。它必须与 CollectionDefinition 中使用的名称相同）

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

当我们这样做时，首先会运行其他并行测试。之后，其他具有 Collection("Non-Parallel Collection") 属性的测试运行。

Answer 7

我在基类中添加了属性 [Collection("Sequential")]：

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

Answer 8

对于 .NET Core 项目，使用以下命令创建 xunit.runner.json：

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

另外，您的csproj 应该包含

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

对于旧的 .Net Core 项目，您的 project.json 应包含

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

Answer 9

我不知道细节，但听起来您可能正在尝试进行集成测试而不是单元测试。如果您可以隔离对ServiceHost 的依赖，那可能会使您的测试更容易（更快）。因此（例如）您可以独立测试以下内容：

• 配置读取类
• ServiceHost 工厂（可能作为集成测试）
• 采用IServiceHostFactory 和IConfiguration 的引擎类

有助于包括隔离（模拟）框架和（可选）IoC 容器框架的工具。见：

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

Answer 10

您可以使用播放列表

右击测试方法->添加到播放列表->新建播放列表

然后您可以指定执行顺序，默认是，您将它们添加到播放列表但您可以根据需要更改播放列表文件

Answer 11

也许你可以使用Advanced Unit Testing。 It allows you to define the sequence in which you run the test。因此，您可能必须创建一个新的 cs 文件来托管这些测试。

您可以通过以下方式调整测试方法以按您想要的顺序工作。

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

请告诉我它是否有效。