【问题标题】:Automatically create test cases for web page?自动为网页创建测试用例?
【发布时间】:2014-10-07 21:52:51
【问题描述】:

如果某人有一个网页,测试网站是否存在用户交互错误的常用方法是手动创建每个测试用例并使用 selenium。

是否有自动创建这些测试用例的工具?那么,如果我的网页发生了更改,新的测试用例会自动创建吗?

【问题讨论】:

  • 如果有,请告诉我。它会减轻很多工作。但恐怕没有这种东西

标签: testing selenium automation automated-tests testcase


【解决方案1】:

您可以查看付费产品。这种类型的技术不是作为开源开发的,可能会花费一些。一些主要的测试工具更接近于此,但我还没有听说过全自动。

如果是这种情况,那么 QA 工程师,尤其是自动化工程师的角色就不会那么重要了,而且工作岗位会很快下降。我可以想象,如果有这样的工具出现,它将成为整个行业的重大新闻,并在全世界范围内传播。

如果您走人工智能的道路,这在理论上和概念上是可能的,但是,通常人工智能开发工作的成本高于需要测试的正在开发的应用程序,所以......这不会发生。

此时最好的做法是将尽可能多的维护与其他部分分开,这样您就可以在修改时减少维护问题并保持核心不变。我通常将控制操作视为通用的,然后是工作流以及特定的地图和数据更改。这将允许它针对任何网站运行......但您仍然必须编写/更新测试并维护地图。

【讨论】:

    【解决方案2】:

    我认为自动增长测试用例更多的是您的要求。更具体地说,我将尝试介绍基础知识,如果您有兴趣,请仔细查看Evolutionary Testing

    通常我们会遇到一组标准的限制条件,例如不断变化的被测系统 (SUT) 的功能、有限的时间框架、缺乏合适的测试工具等等……然而,随着技术的发展,还有另一种类型的挑战出现解决方案进一步发展——系统复杂性增加。

    虽然典型的限制可以通过不同的技术和管理方法解决,但在系统复杂性的情况下,我们面临着我们定义用于评估和验证系统行为的直接分析方法的能力限制。复杂系统由多个通常是异构的组件组成,这些组件在协同工作时会放大彼此的统计和行为偏差,从而导致系统以不属于其初始设计的方式运行。更糟糕的是,复杂系统在相同机制的帮助下也会增加对环境的敏感性。

    测试复杂系统的选项

    我们如何测试每次运行测试场景时行为都不同的系统?我们如何重现一个需要花费数天和数百万才能恢复的问题,但只是在大约已知的条件下不时发生?

    我想关注的一个可能的解决方案是接受我们缺乏的知识,并通过使用进化测试来处理我们所拥有的一切。在这种情况下,进化测试可以被视为黑盒测试的一种变体,因为我们正在处理将输入输入到 SUT 并评估其输出,而不关注其内部结构。这里的细线是,我们正在组织这个自动测试用例生成和大规模执行的过程,作为一个模仿自然进化的迭代优化过程。

    进化测试

    元素:

    • Population – 一组测试用例执行,参与优化过程

    • 世代 – 人口的一部分,参与给定的迭代

    • Individual – 单个测试用例执行及其结果,来自 Population 的一个元素

    • 基因组 - 所有测试用例的统一定义,描述人口的模型

    • 基因型 – 单个测试用例实例、描述个体的模型、基因组实例

    • 重组 – 将一种或多种基因型转化为新的基因型

    • 突变 – 基因型的随机变化

    • 适应度函数 – 形式化的标准,表示个体对优化目标的适用性

    我们如何创建这些元素?

    • 实验目标的定义(选择标准)——设置优化过程的方向并与 SUT 的行为相关。在执行的测试用例实验期间涉及 SUT 状态或环境的某些特征。例子: o “SUT 应该使用错误代码完成测试用例执行” o “测试用例应该驱动 SUT 通过 SUT 逻辑结构中最多数量的分支” o “在测试用例执行期间,SUT 所在房间的环境温度不应超过 40 ºC” o “系统上的 CPU 利用率,在测试用例执行期间运行 SUT 的位置应超过 80%” SUT 及其环境的任何可测量参数都可以用于目标陈述。了解测试输入和目标本身之间的关系不是强制性的。这提供了覆盖直接从需求派生的目标的可能性,而不是基于一些后期的需求派生,如业务、架构或技术模型。 • 被测系统相关输入和输出的定义——SUT 输入和输出的识别,以及与实验目标相关的环境参数。 • 实验基因组的正式定义——将汇总的测试用例集编码为参数化模型(通常是数据结构),表达相关的 SUT 输入数据、环境参数和动作序列。该定义还需要符合应用于基因组实例的两个主要操作——重组和突变。这两个操作的机制可以针对基因组中存在的数据或动作类型进行预定义,或者具有自定义定义 • 选择标准的正式定义(适应度函数)——一种评估机制,它采用测试用例执行(个体)产生的 SUT 输出或环境参数并计算一个数字(适应度),表示该特定个体与实验目标的接近程度.

    流程如何运作?

    1. 我们使用基因组来创建一代随机基因型(测试用例实例)。
    2. 我们执行测试用例(基因型)生成结果(个人)
    3. 我们使用健身函数根据我们的目标评估每个执行结果(个人)
    4. 我们只从给定世代中选择适合度高于给定阈值(前 10%、高于平均水平等)的个人。
    5. 我们使用选定的个体通过应用重组和突变来产生一个新的完整的生成集
    6. 我们重复该过程,返回第 2 步 迭代过程通常通过设置与评估的一代适应度相关的条件来停止。例如: • 如果自上次迭代以来,top Fitness 的变化不超过 0.1% • 如果一代中的顶部和底部适应度之间的差异小于 0.3% 那么可能是时候停下来了。

    优点和缺点

    优势:

    • 我们可以利用有限的知识来处理 SUT 和面向目标的测试定义

    • 我们使用测试用例模型(基因组),这使我们能够毫不费力地大量生产大量测试用例(基因型)

    • 我们可以在第一次迭代中“播种”测试用例(基因型),而不是随机生成它们,以加快优化过程。

    • 我们可以并行运行测试用例以加快进程

    • 我们可以找到多种满足我们测试目标的解决方案

    • 如果优化过程收敛,我们可以保证每个后续生成都是我们测试目标的更好近似解。这意味着即使我们需要在达到最佳 Fitness 之前停止,我们仍然会拥有比我们开始时更好的测试用例。

    • 我们可以实现非常复杂、难以重现的测试场景的重放,这些场景模拟现实生活,并且远远超出任何其他自动化或手动测试技术的范围。

    缺点:

    • 为进化测试实施定义必要元素的过程非常重要,并且需要特定的知识。

    • 实施这种自动化方法既费时又费资源,只有在合理的情况下才应采用。

    • 优化过程的收敛取决于适应度函数的平滑度。如果它的定义导致区域不连续或小/无梯度,那么我们可以预期收敛缓慢或没有收敛

    更新:

    我也推荐你看看Genetic algorithms,这篇关于Test data generation的文章可以给你方法和指导。

    【讨论】:

    • 因此,您几乎需要使用fitness 函数来定义结果何时符合预期。那么我们毕竟需要某种人工智能或伪人工智能,对吧?不确定我是否在这里偏离轨道..
    • 基本上 - 是的,但仍取决于您的需求。也许不是人工智能,但肯定是一些heuristic algorithm。您不期望您使用的工具、技术或框架可以完成任何事情吗?这里最强大的方面是一旦定义这样的框架几乎可以是self-healing。
    【解决方案3】:

    我碰巧开发了 ecFeed - 一个可以帮助测试设计的开源工具。它处于预发布阶段,我们将添加与 Selenium 的更好集成,但您可以查看当前快照:https://github.com/testify-no/ecFeed/wiki。下一个版本应该会在 10 月发布,并且会在可用性方面进行重大改进。无论如何,我期待着建设性的批评。

    【讨论】:

    • 其实现在这个项目已经有了自己的网站:www.ecfeed.com。
    【解决方案4】:

    在微软开发世界中有Visual Studio's Coded UI Test 框架。这将在 Web 浏览器中记录您的操作并生成测试用例来复制该用例。但是,它不会通过对代码的任何更改来更新测试用例,您需要手动更新它们或重新生成。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2020-10-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多