使用 Pyspark 从结构化流数据帧构建 Spark ML 管道模型

Question

我是数据科学的新手，正在寻求帮助。

我想从结构化流数据帧构建 Spark ML 管道模型，但遇到了一些错误。请看下面的代码 sn-p 和错误信息。

注意：我们已经离线训练了我们的模型，只是想从结构化流数据帧构建评分模型。

代码：

pipelineModel= PipelineModel.load('/model/path/')
scoringDf = pipelineModel.transform(streamingDf) 

错误信息：

Py4JJavaError: An error occurred while calling o1910.transform.
: org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();;
Kafka

我们使用的是 DSE Cassandra v 6.0，它具有 Spark 2.2.1。那么有人会建议将预训练的 PipelineML 对象转换为 Spark 2.2 中的流数据帧的问题吗？

请给我一些意见。

Answer 1

您正在尝试在流式传输结束之前进行转换。流是一个不同的概念，在这里您假设您正在处理批处理数据，您可以一步完成所有事情。

尝试通过在调用转换方法之前添加 your-streaming-context-variable.awaitTermination() 来等待流计算结束。

您可以阅读here 了解 Spark 的流式计算。