当您运行 AB 测试时，您如何处理使用 Selenium 进行的测试？

Question

我们刚刚开始使用 Selenium 来测试我们的网站，它的运行状况非常好，只是在我们引入 AB 测试时它会中断 1/2 的时间。使用 Selenium 进行测试时，你们如何处理 Ab 测试？

谢谢！

Answer 1

这完全取决于您要寻找的内容。我会建议以下三个选项之一：

1. 禁用 Selenium 的 A/B 测试。测试的关键之一是决心。使用随机返回，您将无法对结果充满信心。为此，我将传入一个参数，例如http://my.website.com/?ab=0。这总是可以选择一个将被测试的特定路径。

2. 为 Selenium 构建一个参数以“选择”一个 ab 测试用例。 http://my.website.com/?ab[显示面板]=1。同样，这将为您提供确定性的结果，并允许您实际测试您拥有的 ab 测试用例。这也可以通过在您的设置中创造性地使用 cookie 来实现。

3. Hack- 不要“检查”您网站的 a-b 测试方面，并构建 selenium 以在它们周围导航。这完全取决于您要测试的内容，但如果是图像或文本，这应该不是问题。不应测试非确定性工作流。

希望这些想法有所帮助。这里的要点是确保为您的测试保持确定性。随机只会让你误入歧途。