产品功能的ab测试答案

【问题标题】：ab testing for product features产品功能的ab测试
【发布时间】：2018-07-07 23:17:07
【问题描述】：

如果 Yelp 想了解评分是否有助于用户选择列表，并且我们使用 CTR 作为成功指标来运行 ab 测试，那么我们如何知道 CTR 的显着变化仅仅是由于评分而不是其他原因列表中的某些部分是否像评论一样？

在运行 ab 测试之前，我们是否必须进行某种用户细分而不是随机分配用户？

【问题讨论】：

标签： statistics metrics ab-testing abtest product-management

【解决方案1】：

对于大多数实验，您通常希望信任随机化。随机化是一个公正的过程，它有足够的用户，控制所有可能的混杂因素，包括已知的（例如年龄、性别和 OS）和未知的（例如个性、头发颜色和成熟度），使测试组和对照组之间的比较平衡和公平的。由于两组都同时进行了暴露和测量，因此 A/B 测试还可以校正时间和季节性影响。测试组和对照组之间的统计学显着差异可以直接归因于被测试的变化。我写了更多关于this in a blog post的文章。

使用自定义用户细分通常仅用于少数情况，因为随机化可能会产生不平衡的群体。这通常很少见，但一个例子是，如果你将一个 100 人的房间分成两组，但比尔·盖茨和埃隆·马斯克在这个房间里。根据您要衡量的指标，它们可能会严重搞砸事情。随机化将有一半的时间将两位亿万富翁留在同一组中。在这种情况下，值得进行自定义细分并强制它们最终归入不同的组。但这类事情通常很少见，很少会影响点击率等二进制指标。

【讨论】：

【解决方案2】：

随机化处理除治疗之外的所有其他变量。统计显着性检验负责处理和机会之间的选择。只有当您无法进行随机试验时，您才需要控制其他差异化因素。

【讨论】：