Google Web Optimizer（A/B 测试）为什么没有明显的赢家？答案

【问题标题】：Google Web Optimizer (A/B Testing) Why no clear winner?Google Web Optimizer（A/B 测试）为什么没有明显的赢家？
【发布时间】：2010-07-21 08:47:32
【问题描述】：

我知道previously asked 获胜组合需要多长时间才能出现在 Google 的网络优化器上，但现在我在 A/B 测试中遇到了另一个奇怪的问题：

过去两天，Google 宣布有一个“高置信度获胜者”有 98.5% 的机会以 27.4 击败原始版本%。太好了！

我决定让它运行以确保绝对确定，但发生了一些奇怪的事情：今天谷歌说他们“尚未收集足够的数据来显示任何重要的结果”（如下所示)。当然，这些数字已经略有变化，但仍然非常高：96.6% 的几率超过原版 22%。 p>

那么，为什么谷歌现在不太确定呢？

如何从具有统计意义的“高置信度”获胜者转变为没有足够的数据来计算获胜者？是我的数字太小，Google 无法完全确定吗？

感谢您的任何见解！

【问题讨论】：

【解决方案1】：

它怎么会从拥有一个具有统计学意义的“高信心”赢家，到没有有足够的数据来计算一个吗？

在所有统计测试中，有一个称为p-value 的东西，它是随机获得观察到的结果的概率，假设测试的结果没有差异。因此，当您运行测试时，您需要一个较小的 p 值，以便您对结果充满信心。

所以 GWO 的 p 值必须在 1.5% 和 3.4% 之间（我猜是 2.5%，至少在这种情况下，可能取决于组合的数量）

所以当 (100% - 击败 %) > p-value 时，GWO 会说它没有收集到足够的信息，如果一个组合有 (100% - 击败 %)

总结一下，你不应该经常检查结果，你应该设置一个测试，然后忽略它很长一段时间然后检查结果。

我的数字对 Google 来说太小了吗？绝对确定还是什么？

没有

【讨论】：

感谢您的回答，它非常有用且内容丰富。至于“经常检查结果”；测试已经跑了30天了，几天前我居然第一次查了——当时我没有结束测试只是一个偶然的机会，因为我只是想看看会发生什么如果我离开它更长的时间会发生。似乎经常检查实际上是唯一真正确定的方法，因为不同的测试可以在完全不同的时间内完成。（Google 的计算器实际上为我的流量预测了 990 天！）
“Google 的计算器实际上为我的流量预测了 990 天！）”它会根据您的输入做出该预测。
你可能对reading this感兴趣。
那家伙说的对吗？听起来他刚刚写了一篇非常长的帖子说，“在你收集到足够的数据以使结果具有统计学意义之前，不要退出你的 A/B 测试”。我没收到吗？