可以在进行火花流式传输时移动输出文件，而不会使火花作业崩溃吗？

Question

我有一个以 Kafka 作为源运行的结构化流式 Spark 作业，以附加模式输出 orc 文件。在作业运行时，我每隔一定时间将文件（想要）移动到 hdfs 位置。通过移动文件，火花作业是否会因此崩溃或产生错误的输出？一旦 spark 写入文件，它会出于任何原因再次查看文件吗？我想执行文件移动，但我不想以任何方式破坏 spark。

Answer 1

在您追加数据时，只要在输出文件夹中生成的 _spark_metadata 目录与检查点目录保持同步，移动文件就不会影响您的结构化流式传输作业。