使用 Firebase 远程配置的互斥 A/B 测试答案

【问题标题】：Mutually exclusive A/B tests with Firebase Remote Config使用 Firebase 远程配置的互斥 A/B 测试
【发布时间】：2017-11-09 12:18:07
【问题描述】：

我想使用带有远程配置的 Firebase A/B 测试对一个应用执行两个 A/B 测试。

问题在于这两个测试的受众应该是互斥的。构成这两个实验的一部分可能会污染结果。

我曾考虑在用户进入实验 1 时设置 Firebase Analytics 用户属性并从实验 2 受众群体中排除此属性值，但我担心用户在获取远程配置时同时进入两个实验价值观。

有没有更好的解决方案来阻止用户进入这两个实验？

【问题讨论】：

好问题。我有兴趣了解人们的意见

标签： android ios firebase ab-testing firebase-remote-config

【解决方案1】：

（为了回答这个问题，我假设您说的是我们上周刚刚推出的新 A/B 测试框架）

所以现在，您无法真正确保使用新的 A/B 测试框架的实验组相互排斥。如果您指定 10% 的用户在实验 A 中，10% 的用户在实验 B 中，那么实验 B 中的一小部分用户（具体来说，大约 10%）也将在实验 A 中。

好消息是，来自实验 A 的用户应该平均分布在实验 B 的变体中。但是，如果您发现自己的情况是，这些实验用户会偏爱一个变体而不是另一个变体（因此歪曲你的结果），你有两个选择：

串行而不是并行运行 A/B 测试。等到您停止第一个实验后再运行第二个实验。
如果有意义，请尝试将它们组合成一个单一的多变体实验。例如，假设实验 A 正在添加更快的登录流程，而实验 B 将您的登录流程推送到流程的后期。您可以尝试像这样创建一个多变体实验：

+---------+--------------+---------- -----+ |集团 |登录速度 |签到时间 | +---------+--------------+---------- -----+ |控制 | （默认）| （默认）| |快速 |快速 | （默认）| |延期 | （默认）|延期 | |快速和延迟 |快速 |延期 | +---------+--------------+---------- -----+

这样做的好处是，您可以更深入地了解参与这两个实验是否真的会以您怀疑的方式影响您的用户。

【讨论】：

谢谢托德。我将做这个多变体实验作为一种变通方法，但是，您知道将来是否会考虑此功能吗？
@todd-kerpelman 如果我想分别针对 100% 的用户运行 2 个实验怎么办？就我而言，我相信我在每个变量中设置的变量都不相关，所以我不希望有任何互相关。 Firebase 是否仍能确定每个变量的影响？

【解决方案2】：

我只会在安装时将property 设置为1~10 之间的随机数。

那么您应该能够通过过滤用户来进行“独家 A/B 测试”。

【讨论】：

【解决方案3】：

它应该能够利用“激活事件”并行运行互斥的 A/B 测试实验，但是，它需要额外的工作来维护客户端的某些状态。

【讨论】：