是否可以延长非显着性 A/B 测试？

Question

我们从this article 得知，由于“显着”结果而提前结束 A/B 测试是一个错误。

但是，如果测试在所需的时间段内运行并显示出微不足道的结果，那么延长它可以吗？有什么风险？

如果有任何风险的简单数学示例（类似于链接文章中的示例），那就太好了。

我只有概率论和数学的基本知识，所以如果我能用这些知识理解答案，我将不胜感激。

我的直觉是这可能是有问题的，因为您进行过一个具有计算可靠性的实验（将在 X% 的此类实验中显示假阳性，在 Y% 的此类实验中显示假阴性），但现在您'实际上无限期地等待第一个真阳性或假阳性意义。

所以我认为您在设置原始实验时得到的误报比您考虑的要多。但据推测，随着我们获得更多数据，误报的可能性也会降低。如果这是真的，我很想得到这方面的具体数字。

Answer 1

这是当前研究的一个领域。我们做了一些建模，并建议我们的客户遵循这个原则：

• 如果实验达到统计显着性，即当 CI 丝带完全高于零或完全低于零，并且 仍然显着，因为观测值比达到目标所需的观测值多 50% 0.10 水平检验的显着性（比实际多 65% 的观测值） 为了获得 .05 水平测试的显着性），该实验称为 通过接受备择假设，或者换句话说， 治疗胜利。

• 如果实验没有达到统计显着性，而 CI 色带变窄到其宽度代表差异的位置 治疗和控制之间的 应用语义，实验通过拒绝 研究假设，或者换句话说，治疗失败 我们坚持控制。

如需了解更多信息，请联系White Paper。