【问题标题】:E2E Test MetricsE2E 测试指标
【发布时间】:2016-06-27 12:08:44
【问题描述】:

如果这个问题更适合 Stack Exchange 程序员,我深表歉意,我已经在两个网站上发布了这个问题,因为我认为它是在围栏上。

问题: E2E 自动化测试是否有任何有价值的指标? (收集他们周围的任何数据有意义吗?)

上下文:例如,当我编写单元测试时,我实现了一个测试覆盖率包,它涵盖了类的百分比、触及的方法数等......

我遇到的几点:

  • 测试效率(规格速度)
  • 应用性能(响应/加载时间)
  • 自动化进度(当前自动化的测试数 VS 能够自动化的测试数)
  • 缺陷效率(测试期间发现的缺陷数量与交付后发现的缺陷数量)

有什么想法吗?如果重要的话,我会在 Angular 应用上使用 Protractor。

【问题讨论】:

  • 您应该首先在您的上下文中定义测试自动化的目标。然后创建指标来表示与预期结果之间的差距。没有明确定义的目的就抛出指标是没有用的。
  • @FlorentB。是的,感谢您的意见。我想主要目标是通过验证应用程序的主要部分在开发继续时仍然可以正常工作来进行健全性检查(我猜这是功能/回归测试?)我不想说它只是快乐的路径测试(因为我认为它是比这更深入)......但由于缺乏更好的术语,我们可以考虑它。

标签: protractor automated-tests metrics e2e-testing


【解决方案1】:

量角器让我想到的一些事情: 您也可以使用 e2e 测试来测量代码覆盖率,但这需要一些技巧来设置,请检查:https://www.npmjs.com/package/protractor-istanbul-plugin https://www.npmjs.com/package/grunt-protractor-coverage

请注意,这不是干净的解决方案 - 您的代码可能会被缩小,不包括服务器端,请记住这一点。

您还可以使用量角器性能测量页面性能(加载速度、JS 执行速度、CSS 渲染其他客户端计算): https://github.com/axemclion/protractor-perf

但也要记住,要实现这一点需要大量准备工作,但无论如何它很酷。

关于自动化进度/可自动化百分比 - 我认为您无法自动跟踪这一点,除非您的要求非常详细,并使用 API 存储在某些系统中。然后,您可以将您的测试用例与特定需求联系起来并进行跟踪。我从来没有真正看到过这个工作。

缺陷效率 - 使用 JIRA 报告更容易跟踪。

【讨论】:

  • 太棒了,感谢您的意见。是的,我一直回到这个问题“这值得努力吗?”。我会等待其他答案
【解决方案2】:

是的,收集有关 E2E 测试指标的数据是有意义的。除了测试用例执行、性能和其他测量之外,它还有助于我们为下一阶段的活动做出决策,例如估计未来项目的成本和进度。 了解成功项目所需的改进类型。 决定要修改的流程或技术等。测试指标是衡量软件质量最重要的指标。

【讨论】:

    猜你喜欢
    • 2019-08-22
    • 2017-04-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-08-01
    • 1970-01-01
    • 1970-01-01
    • 2018-08-20
    相关资源
    最近更新 更多