矛盾的谷歌内容实验结果答案

【问题标题】：Contradictive google content experiment results矛盾的谷歌内容实验结果
【发布时间】：2016-05-05 12:33:09
【问题描述】：

我们通过实验 api 大量使用 Google 实验，最近开始看到实验以获胜者的分数低于其他变体而告终 - 请参阅最近两个实验的附加屏幕截图。

其他人看到了吗？你知道这是什么意思吗？

【问题讨论】：

标签： google-analytics usability ab-testing google-experiments

【解决方案1】：

可能是因为置信度很低，所以 Google 没有信心应用任何变体。

选择实验的获胜者

随着时间的推移，您应该会看到原始广告设置或变化优于其他。帮助您决定合适的时间选择您的获胜者，我们计算两者的置信度得分设置。该分数表明原件或原件的可能性有多大变化是更好的表现（例如，最高的收入）设置。

我们建议您等到其中一个分数至少达到 95% 在您选择该设置作为获胜者之前。当一个设置有 95% 的置信度分数意味着我们有 95% 的把握设置是两者中表现较好的。

我也建议这个页面： https://support.google.com/adsense/answer/6321909

当您选择实验的获胜者时，我们鼓励您考虑整体变化以及收入 (RPM) 和相对质量得分。总体变化等于 RPM 的变化加上变体质量得分的变化。一般来说，一个积极的整体变化将带来更好的长期绩效，即使每千次展示收入发生变化或质量得分发生变化消极的。在每千次展示收入和质量得分指向的情况下不同的赢家，一个积极的整体变化可以帮助你做出一个最终决定。

【讨论】：

我不确定你是对的。在这些特定测试中，每个变体都有 100K 会话，KPI 变化 +9%。这应该会对获胜者产生相当大的信心。此外，如果没有达到显着性，为什么测试会提前停止？另请注意，这些是谷歌分析测试，而不是 Adsense 测试。