无法解析带有流源的查询必须使用 writeStream.start() Scala 执行答案

【问题标题】：Cannot resolve Queries with streaming sources must be executed with writeStream.start() Scala无法解析带有流源的查询必须使用 writeStream.start() Scala 执行
【发布时间】：2021-08-16 18:04:27
【问题描述】：

我无法解决以下异常 "必须使用 writeStream.start(); 执行带有流源的查询；卡夫卡”

我的代码如下：

val spark = SparkSession
      .builder()
      .getOrCreate()

val bootstrapServers = "localhost:9092"
val topicName = "name"

val df = spark
      .readStream
      .format("kafka")
      .option("kafka.bootstrap.servers", bootstrapServers)
      .option("subscribe", topicName)
      .option("group.id", "Structured-Streaming-kpi")
      .option("failOnDataLoss", false)
      .load()

df.writeStream
      .format("console")
      .start()
      .awaitTermination();
df.show()

【问题讨论】：

标签： scala apache-spark apache-kafka spark-structured-streaming

【解决方案1】：

我认为问题是这样的 df.show()

您的 df 已写入控制台。

尝试删除它，看看会发生什么

【讨论】：