谷歌内容实验的样本量

Question

在对 2 个变体进行谷歌内容实验时，谁能告诉我需要什么样的流量/样本量才能获得具有统计意义的结果？

Answer 1

Google 使用 Multi Armed Bandit 测试。 这是一篇关于这个Googles answer的好文章

实践中的最佳方法是查看 Google 分析实验标签中的百分比，看看它以多快的速度接近 95%。

您无法获得准确的答案，因为它会随着您进行测量并根据您尝试测量的差异而变化。因此，如果一种变体的性能比另一种好 300%，那么与一个变体只比另一种性能好 10% 的情况相比，它所需要的样本量要小得多。

在这里了解直接统计显着性的数学原理是一个很好的解释。 Statistical significance tutorial

这里有一个计算器Calculator

就多武装强盗的数学而言，彼得·惠特尔的这句话总结了它

[强盗问题] 是在 [第二次世界大战] 战争期间提出的，解决它的努力消耗了盟军分析家的精力和思想，以至于有人建议将这个问题放在德国上空，作为解决问题的最终工具。智力破坏。