将 R 与 SimpleDB 或 BigQuery 结合使用或将 PHP 与 SimpleDB 结合使用的建议

Question

我目前正在研究生成产品推荐的系统，例如 Amazon 上的产品推荐：“购买此产品的人也购买了此产品..”

当前情景：

• 提取客户端的谷歌分析数据并插入数据库中。

• 在客户端的网站上，在加载产品页面时，会进行 API 调用以获取正在查看的产品的推荐。

• 当 API 收到产品 ID 作为请求时，它会在数据库中查找并检索（使用关联规则）推荐的产品 ID 并将它们作为响应发送。

• 这些产品ID的列表将被处理以在客户端获取产品详细信息（图像，价格..）并显示在网站上。

• 目前我正在使用 PHP 和 MYSQL 以及 gapi 包和 REST api 存储在 AMAZON EC2 上。

我的问题是： 现在，如果我必须在以下选项中进行选择，那将是实现上述概念的最佳选择。

• PHP 与 SimpleDB 或 BIGQuery。

• 带有 BIGQuery 的 R 语言。

• 使用 SimpleDB 的 RHIPE-（R 和 hadoop）。

• Apache Mahout。

请帮忙！

Answer 1

这不是那么容易回答，因为约束是相当专业的。

但可以考虑以下几点：

1. BIGQuery 尚未公开。因此，由于使用基数较小，即使您处于预览阶段，也很难获得改进建议。
2. 您的每个答案都询问了建模系统和存储系统。 Apache Mahout 不是一种存储机制，因此它不一定会单独工作。我曾经认为它的机器学习实现是一些 Google Summer of Code 的仿制品，但我已经根据评论者的建议更新了这一观点。看起来它对不同算法的覆盖仍然相当不均匀和参差不齐，而且还不清楚如何支持或维护这些组件。我鼓励 Mahout 的传道者解决这个问题。

因此，这消除了第 1、第 2 和第 4 个选项。

我不太明白需要实时服务器来利用 Hadoop 和 RHIPE。这应该在开发推荐模型的批处理中完成，而不是实时完成。我想你可以使用 RHIPE 作为一个简单的一站式前端来触发查询。

我建议使用 RApache 而不是 RHIPE，因为您可以预先加载您的包和模型。我认为在前端使用 Hadoop 没有任何优势，但对于模型拟合来说，它将是一个非常自然的后端系统。

（更新 1）其他界面选项包括 RServe (http://www.rforge.net/Rserve/) 和可能的服务器模式下的 RStudio。有 R/PHP 接口（见下面的 cmets），但我怀疑通过 HTTP 或 TCP/IP 访问 R 会更好。

（更新 2）解决整个过程，我看到的基本思想是您可以从 PHP 查询数据并传递给 R，或者，如果您希望从 R 中查询，请查看 cmets 中的链接（到OmegaHat 工具）或发布一个关于 R & SimpleDB 的新问题——我相信 SO 上的其他人能够更好地了解这个特定的连接。 RApache 将允许您实例化许多已经准备好加载包和 RAM 中的数据的 R 进程；因此，您只需要传递需要用于预测的任何数据。如果您的新数据是一个小向量，那么 RApache 应该没问题，而且对于正在实时处理的数据来说，这似乎是正确的。

Answer 2

如果您想要基于数据库中的数据进行推荐的实时 API，Apache Mahout 可以直接执行此操作。您想使用ReloadFromJDBCDataModel，在上面放置一个GenericItemBasedRecommender，并在examples 模块中使用基于servlet 的包装器。熟悉代码并根据需要对其进行自定义可能需要一两天的时间，但这非常简单。

当您超过大约 1 亿个数据点时，您需要考虑分布式计算 Hadoop。这要复杂一些。 Mahout 也有一个分布式推荐器，您可以自定义它。