Javascript 测试：测试数量不一致答案

【问题标题】：Javascript tests: Inconsistent number of testsJavascript 测试：测试数量不一致
【发布时间】：2018-10-01 12:28:23
【问题描述】：

抱歉，如果这有点含糊（确实如此），但我从一个已离职的承包商那里继承了一些混乱，需要一些指点......

我已经（继承）了许多 JavaScript 单元测试（大约 770+）。这些正在使用 Chutzpah 运行（在 Visual Studio 2015 中以及在我们的 Team City 构建期间从命令行运行）。

问题是，每次我运行测试时——无论是在 VS 中，还是从命令行——运行的测试总数不同，失败的次数也不同

问题在于不一致。我无法开始调查实际问题，因为我什至不知道我是否可以信任已运行的测试。

抱歉，我很感激我在这里没有提供任何真正的细节，但是任何人都可以建议我在这种情况下应该研究的任何高级事情吗？

干杯

【问题讨论】：

【解决方案1】：

正如评论者所提到的，您需要弄清楚易碎测试是什么。我会设置一个批处理文件来运行这组测试数百次，然后分析结果。一旦有了嫌疑人，您就可以使用 /trace 命令行参数运行测试，该参数会创建一个名为 chutzpah.log 的日志文件，其中显示了测试所做的所有事情。有时这可以揭示与正常执行的差异。

此外，flakey 测试的一个常见原因是可变的共享状态和异步方法。一旦你有一个候选测试，我会寻找这些模式。

【讨论】：

感谢您的回复。确定问题方法是这里的关键——目前每次运行产生不同结果的测试都没有帮助——所以要找到不稳定的测试并不容易。我将尝试您提到的批处理方法，并且我还在较小的组中（按班级）运行测试，以查看是否可以缩小故障点。如果我发现一些看起来可能对这个职位的其他人有用的东西，我会在这里更新。