AB 测试框架创建

Question

在我的一个应用程序中，主页布局是从后端用 java 编写的店面应用程序加载的。此应用程序以 JSON 形式生成布局，其中包含小部件，应用程序使用并呈现布局。

我被分配编写一些 AB 测试框架。如果有任何开源工具可以用来拦截我的 JSON 以进行 AB 测试，或者我是否应该为此写出一些开箱即用的解决方案。

Answer 1

您听到的大多数 AB 测试是指通过在浏览器中注入 JS 来支持的客户端测试。在 Java 应用程序中进行测试需要不同的方法。

您可以使用免费的开源工具，例如 Planout。这用作基本的流量拆分器并使用确定性哈希算法，因此只要您继续使用相同的用户 ID，您就可以获得一致的变化。

如果您需要更强大的功能，您可能需要购买商业软件包。对于应用内测试（移动、网络、后端），这些通常采用以下两种形式中的一种：

1. API 方法：您的应用可以向供应商管理的服务器发送请求，请求当前用户的变体。这里的缺点是每次需要用户的变化时等待响应会降低性能。
2. SDK：您在 Java 代码库中实现的供应商提供的 SDK，它使用确定性哈希来确定用户的变化。 SDK 将需要在运行实验之前（以及以某种更新频率）从服务器检索某种包含实验状态、流量分配等的数据文件，然后让您确定内存的变化（无阻塞网络调用）。跟踪呼叫可以异步发送。

与免费解决方案相比，商业包将为您带来一些好处，例如用于管理实验的用户友好型门户网站、统计计算器、QA 工具、功能标志、用户权限、持续更新和支持等。

免责声明：我为 Optimizely 工作，该公司为 AB 测试和功能标志开发 an SDK-driven platform。