使用 Apache Spark 查询 REST Web 服务？

Question

我们有一些关于 Hadoop 的数据，需要使用仅通过 REST 服务对我们可用的数据进行扩充。我们使用 Spark 来搜索和纠正缺失的数据。尽管有很多记录需要搜索缺失数据，但对服务的调用总数预计会很低，因此在搜索数据时，最好在 Spark 中完成整个工作。

我在 API 或 Google 上没有看到任何与从 Spark 作业进行 REST 调用相关的明显内容。有可能吗？

谢谢

Answer 1

没有什么特定于 spark 的，你可以使用你最喜欢的 java 或 scala HTTP 库来进行调用，可能在一个 map 函数中，它将返回输入数据和你从服务中检索到的数据。