AB测试：页面或流程设计两个版本（A和B）或多个版本（A/B/n），同时随机的让一定比例抽样客户访问，然后比较这各个版本的实际效果（转化率），最后选择效果最好的版本正式发布给全部客户。
一、AB测试的好处
-
消除客户体验（UX）设计中不同意见的纷争，根据实际效果确定最佳方案；
-
通过对比试验，找到问题的真正原因，提高产品设计和运营水平；
-
建立数据驱动、持续不断优化的闭环过程；
二、低效AB测试：在App和Web开发阶段，程序中填加用于制作AB版本和采集数据的代码由此引起的开发和QA的工作量很大，ROI（return on investment）很低。
-
AB测试的场景是固定的、有限的，App和Web发布后，无法再增加和更改AB测试场景；
-
额外的AB测试代码，增加了App和Web后期维护成本；
三、怎样做AB测试？
在App和Web上线后，通过可视化编辑器制作AB测试版本、设置采集指标，即时发布AB测试版本。
-
AB测试的场景数量是无限的；
-
在App和Web发布上线后，根据实际情况，设计AB测试场景，更有针对性，更有效；
-
无需增加额外的AB测试代码，对App和Web的开发、QA和维护的影响最小。
四、AB测试工具
国外：Optimizely，Visual Website Optimizer，Adobe Test&Target等；
国内：云眼（Eyeofcloud）、吆喝科技（Appadhoc）等。
五、AB测试过程
1）现状分析。分析业务信息，确定当前最关键的改进点。
2）假设建立。根据现状分析作出优化改进的假设，提出优化建议。
3）设定目标。确定主要目标，来衡量各优化版本的优劣；设置辅助目标，来评估优化版本对其他方面的影响。
4）界面设计。制作出2个（或多个）优化版本的设计原型；
5）技术实现。
-
Web平台需要在页面中嵌入云眼JS脚本，然后编辑出各个优化版本。
-
Android和iOS APP需要添加SDK，然后通过编辑器制作各个优化版本。
-
通过编辑器设置目标，如果编辑器不能实现，则需要手工编写代码。
-
使用云眼平台分配流量。初始阶段，优化方案的流量设置可以较小，根据情况逐渐增加流量。
6）采集数据。通过云眼系统自动采集数据。
7）分析AB测试结果。统计显著性达到95%或以上并且维持一段时间，且差异区间正向，实验可以结束；如果在95%以下，则可能需要延长测试时间；如果很长时间统计显著性不能达到95%甚至90%，则需要决定是否中止试验。
六、实施AB的策略
1）从简单开始。可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施A/B测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。
2）隔离变量。为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不能知道是哪个变量对改进起了作用。
3）要尽可能频繁、快速的进行A/B测试。要降低A/B测试的代价，避免为了A/B测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。
4）要有一个“停止开关”。不是每个A/B测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。
5）检查纵向影响。例如，夸大虚假的CTA(Call To Action)可以使某个A/B测试的结果正向，但长期来看，客户留存和销售额将会下降。因此，时刻要清楚我们追求的是什么，事先就要注意到可能会受到负面影响的指标。
6）先在一两个产品上尝试，获得经验后，推广到其他产品中。