创建 JSON 服务以读取/写入 HDFS 数据

Question

我的要求如下：

我们正在尝试为我们的一位客户实施推荐引擎。为了达到同样的效果，我们需要将来自 Web 应用程序的数据存储在 HDFS 中（针对产品的每次点击），并在后端计算推荐并将结果（作为产品）显示在 Web 应用程序中。

我的方法如下突出显示的步骤：

1. 我们已经下载并配置了 Cloudera
2. 我们已经下载/配置了 Apache Mlib（推荐引擎）
3. 使用 Eclipse Luna，我们可以运行 Mlib（使用 Java 插件）
4. 现在我们需要创建一个 JSON 服务，该服务将从网络读取数据并
   存储在 HDFS 中。我们被困在这一步。
5. 现在我们需要创建一个 JSON 服务，它可以从 HDFS 读取数据并 计算推荐值并以 JSON 格式动态显示结果。

我们被困在第 4 步和第 5 步。请建议，我们如何创建 JSON 服务以从 HDFS 读取/写入？

Answer 1

您问了一个非常笼统的问题。我建议你先熟悉一下 Apache Spark。快速阅读guide。如tutorial 中所述，开始将数据从 hdfs 读\写到 jsonRDD。在您了解如何使用批处理后，请阅读spark streaming。

有一个old story，托勒密问我是否有比欧几里得元素更短的学习几何的途径。欧几里得回答说没有通向几何的王道。因此，除了阅读和理解 Apache Spark 使用的基础知识外，没有快速的方法可以为您的客户构建 mllib 引擎。祝你好运！