apache spark过滤器方法中的HTTP API调用

Question

我有一个 Spark 数据框，我需要根据条件进行过滤。

条件是： 数据框中有一列"keyword"，我需要调用一个API 传递这个keyword 列值。将对所有 keyword 列值执行此操作。 API 将发回一个我需要与阈值匹配的数字。如果它更大，则需要返回 true 否则为 false。

我为此写了一个 UDF，如下所示..

    val filteredDf = df.filter(apiUdf(col("keyword_text")) === true))

    val apiUdf = udf((topic: String) => {..
     .....
     HTTP API call .. 
     parse the result ... 
     find out the number from the API resposne.. 
     and then compare it with some threshold value and return true/false

这里的问题是我打开和关闭 HTTP 连接的次数与我拥有多个关键字的次数一样多。有人可以告诉我如何优化这一点，以及这里的 UDF 方法是否可以？

Answer 1

Spark UDFs 旨在处理实现复杂逻辑以返回值/秒。

在分布式数据处理中，调用外部 URL 并不是好的设计/方法执行器。

• 其缩放问题与数据大小和次数有关 连接打开/关闭。
• 此外，在大多数生产环境中，执行器节点都是 没有接触过互联网。

我会建议

1. 保存/收集所有 col("keyword_text")
2. 为每个关键字调用 HTTP API（不是 spark udf）并获得响应
3. 将数据保存为 some_id、keyword_text、api_result

现在使用 df1（some_id、keyword_text、api_result）

您可以加入 df 和 f1 并使用 api_result 进行过滤。

我不确定，如果 HTTP API 接受批量/批量请求（通常大多数都会这样做），您可以考虑这种方法。