【问题标题】:Database for Importing NUnit results?用于导入 NUnit 结果的数据库?
【发布时间】:2009-04-23 17:32:23
【问题描述】:

我有大量的 NUnit 测试;我需要将给定运行的结果导入数据库,然后表征结果集并将其呈现给用户(测试失败时发送电子邮件,检查结果时使用 Web 演示文稿)。我还需要跟踪一段时间内的多次运行(用于报告一段时间内的故障率等)。

XML 将是 nunit-console 生成的 XML。我想以最少的麻烦将 XML 导入某个数据库,然后可以使用该数据库来持久化和呈现结果。我们将有许多自定义类别,我们也需要能够对其进行排序。

有谁知道可以处理导入此类数据的数据库架构,这些数据可以根据我们的个人需求进行定制?这种类型的问题似乎应该很常见,因此应该存在一个通用的解决方案,但我似乎找不到一个。如果有人以前实施过这样的解决方案,也将不胜感激。

【问题讨论】:

  • 如果您的客户/利益相关者正在利用 nunit 结果来断言您的功能(规格)是完整的。您应该研究行为驱动开发。这些框架以易于阅读的格式提供结果。 en.wikipedia.org/wiki/Behavior_Driven_Development

标签: xml database nunit nunit-console


【解决方案1】:

在我看来,您实际上是在使用诸如 CruiseControl.NET 或 TeamCity 之类的构建服务器。

让构建服务器运行测试,它会告诉人们失败的原因和原因。

我推荐 TeamCity,因为它更容易设置几个数量级。

【讨论】:

  • 构建服务器有很多功能。这可能是正确的答案,但并不总是或明显地比直接处理结果更好。我们没有 TeamCity 的预算(尽管我想我已经开始与我的老板沟通了),并且 CruiseControl.Net 不适合我们现在为构建所做的工作。我对仅使用 NUnit 和数据库的解决方案感兴趣。
  • 您为什么没有购买免费软件的预算? TeamCity Professional 无需任何费用。
  • TeamCity 对于从事相当简单项目的小型团队是免费的(就像在 Beer 中一样)。我们都没有。
【解决方案2】:

我在这里寻求解决同样的问题。我们目前倾向于编写一个 XSLT 来将 XML 结果转换为插入语句。然后通过命令行 SQL 解释器运行插入语句的结果文件。理想情况下,我宁愿有一个 NUnit 插件/扩展来为我处理所有这些。不幸的是,我一直找不到。

【讨论】:

    【解决方案3】:

    要构建 IainMH 的答案,您可能想看看将 Trac 与 BITTEN 结合使用,它是一个开源构建系统,可以运行 n 单元测试并报告结果。我目前将它用于那个确切的功能。

    【讨论】:

      【解决方案4】:

      使用 MS SQL 时,您可以将所有 XML 导入 [xml] 数据类型的公共列。在此基础上,可以执行 xpath、搜索和转换。

      【讨论】:

        【解决方案5】:

        如果您手头拮据,CruiseControl 或 TeamCity 的另一个替代方案是 Atlassians Bamboo。我是他们的软件的忠实粉丝,因为它易于使用,而且他们有一个交易,你可以花 10 美元买到竹子。

        【讨论】:

          【解决方案6】:

          我们希望避免这种情况,但我们已经从 NUnit 结果 XML 模式生成了一个数据库模式;然而,它有点不足,因为 NUnit 会进行一些(不准确和奇怪的)处理来确定一些关键统计信息(例如,“忽略”与“未运行”)。

          我们仍然希望找到一个不是完整的 CIT 构建系统的架构/流程,它可以让我们自定义用于导入结果的数据库,但目前我们正在使用手动数据库,我们将需要进行大量自定义才能获得所需的报告。

          【讨论】:

          • 你愿意分享你目前所拥有的吗?我回来讨论这个问题,并考虑将其作为 NUnit 的补充。
          【解决方案7】:

          为什么需要将结果保存在数据库中?谁将使用它们?失败的数量不能很大。如果是(反复)你的开发过程是错误的。修复过程。消除浪费(精益原则之一),不要收集它。

          采取更小的步骤(更短的迭代,持续构建),消除依赖关系。

          这并不常见,因为存在此类问题的项目无法交付但会被取消(最终)。

          [edit] Michael,在较长时间内跟踪 nunit 故障提供零值。你需要一个简短的反馈循环。现在解决问题。如果你等到你积累了很多问题,你就会被噪音淹没。

          好的问题跟踪是在正确的(最高可能的抽象)级别完成的。绝对不是单元测试。

          【讨论】:

          • 跟踪失败的原因(以及失败的时间和频率)是确定问题根源的关键。没有它,您将浪费时间尝试解决错误的流程问题。我想说,良好的问题跟踪对于精益开发过程来说是关键。
          • 迈克尔,没错。我们正在遭受测试集严重不足的遗留代码库的困扰;我们进行的哪些测试(数量很大;但它们提供的覆盖范围不完整)的结果存在一定程度的不一致。长时间(数月)跟踪不一致对我们确定优先级很重要。
          • 虽然我原则上同意,但在我们的案例中,即使是一天的失败分析也可以提供很多见解。我们测试我们的软件如何与我们的硬件交互。如果故障仅发生在颜色传感器上,那么这让我们知道在哪里寻找问题。如果它只发生在高分辨率黑白传感器上,那么我们将寻找其他地方。我们的传感器有十几个可能(或可能不)重要的属性。分析 XML 中的结果是不切实际的。我正在努力消除浪费。
          • 除了分析单个测试运行的结果之外,随着时间的推移分析结果也有很大的价值。如果我们可以查看过去 6 个月所有构建的结果,我们可能会看到在查看单个构建时不太明显的趋势。当我们接近发布时,单元测试是否会更频繁地失败?他们是否在具有大量新功能的 sprint 开始时失败得更多?通过仔细分析您的数据可以学到很多东西。永远不要低估信息的力量。 :-)
          猜你喜欢
          • 2020-01-09
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2012-05-26
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多