如果数据集是流数据集，则无法将 spark Dataset<Row> 从 asH2OFrame 转换为 H2OFrame

Question

我已经有一个深度学习模型。我正在尝试对流数据进行评分。为此，我正在使用 spark 结构化流 api 从 kafka 读取数据。当我尝试将接收到的数据集转换为 H20Frame 时，出现以下错误：

Exception in thread "main" org.apache.spark.sql.AnalysisException: Queries with streaming sources must be executed with writeStream.start();

代码示例

Dataset<Row> testData=sparkSession.readStream().schema(testSchema).format("kafka").option("kafka.bootstrap.servers", "localhost:9042").option("subscribe", "topicName").load();
H2OFrame h2oTestFrame = h2oContext.asH2OFrame(testData.toDF(), "test_frame");

是否有任何示例可以解释使用带有流源的火花结构化流的苏打水？

Answer 1

是否有任何示例使用带有流源的火花结构化流来解释苏打水？

没有。结构化流不支持通用转换，包括转换为 RDD 和外部格式。