无需编码的测试人员的自动化测试

Question

我正在尝试改进我工作的测试过程，但没有调整结构。

我们拥有：VSTS、Selenium IDE、编写测试用例但不编写代码的测试人员。

我想做的是设法将我们的 TFS 持续集成与我们编写的 Selenium 测试结合起来。这些不是代码驱动的 selenium 测试，而是用户点击通过的 IDE 版本，并使用 IDE 设置断言（所有这些都只是 UI 测试）。我知道我们可以将这些测试计划导出为 .SIDE 文件，但我不知道如何让我们的 TFS 服务器在部署或构建管道中执行这些计划。

理想情况下，开发人员/devops 会从一开始就在 TFS 中设置项目，使用任何有意义的解决方案来执行这些 Selenium .SIDE 文件，但之后，测试人员将管理在其他地方添加/修改这些测试用例。

这里的真正目标是不让测试人员编写代码或签入代码。只编写这些 UI Selenium 测试，但让 TFS 作为 CI 的一部分执行这些测试。

在互联网上研究这个基本上总是让我想到需要测试人员编写代码的东西。

Answer 1

我不认为它可以在没有代码的情况下自动进行测试，至少，您需要一个包含自动化测试的测试项目。

通常，在 Azure DevOps 中，我们使用Visual Studio Test task 来运行测试。此任务支持使用以下测试：

• 测试程序集：使用此选项指定一个或多个包含您的测试的测试程序集。您可以选择指定一个 过滤条件以仅选择特定测试。
• 测试计划：使用此选项从您的测试计划中运行具有与之关联的自动化测试方法的测试。了解更多关于 如何将测试与测试用例工作项相关联，请参阅Associate automated tests with test cases。
• 测试运行：在将环境设置为run tests from test plans 时使用此选项。此选项不应在以下情况下使用 在持续集成/持续部署中运行测试 (CI/CD) 管道。

Answer 2

我也有这个问题，我想我找到了一个不完美但更好的解决方案。

我无法让我的 Selenium IDE 测试与 Jenkins 一起运行，但我能够让它们与另一个 CI 团队城市一起运行。 我创建了如下构建步骤：

• 运行器类型：命令行
• 工作目录： selenium IDE .side 文件所在的位置
• 运行：自定义脚本
• 包含我通常用于运行 Selenium IDE 测试的构建脚本内容，例如 selenium-side-runner sidefile.side
• 我还添加了以下内容，以便可以在 Junitor 中以另一种形式输出结果：--output-directory=results --output-format=junit
• 您还可以添加以下内容，以便无头运行测试，这仅适用于 Chrome：-c "goog:chromeOptions.args=[--headless,--nogpu] browserName=chrome"
• 最后，我还使用--filter 一次运行一个测试套件，但这也是可选的。
• 然后我使用另一个构建步骤将结果导出到我们的测试管理器 xray，但我认为这超出了这个问题的范围。

这个解决方案的问题是它仍然直接从用户的个人机器上运行，但这可以解决。