火花结构化流的 LSHModel

Question

显然，来自 spark 2.4 的 MLLib 的 LSHModel 支持 Spark Structured Streaming (https://issues.apache.org/jira/browse/SPARK-24465)。

但是，我不清楚如何。例如，MinHashLSH 转换 (https://spark.apache.org/docs/latest/ml-features#lsh-operations) 中的 approxSimilarityJoin 可以直接应用于流数据帧？

我没有在网上找到更多关于它的信息。有人可以帮我吗？

Answer 1

你需要

1. 将经过训练的模型（例如modelFitted）保留在您的流式处理作业可访问的位置。这是在您的流媒体作业之外完成的。

modelFitted.write.overwrite().save("/path/to/model/location")

1. 然后在结构化流作业中加载此模型

import org.apache.spark.ml._
val model = PipelineModel.read.load("/path/to/model/location")

1. 将此模型应用于您的流数据帧（例如df）

model.transform(df)

// in your case you may work with two streaming Dataframes to apply `approxSimilarityJoin`.

可能需要将流数据帧转换为模型预测中使用的正确格式。