是否可以运行多个并行写入 S3 的 Spark Structured Streaming 作业？

Question

我正在尝试运行多个 Spark Structured Streaming 作业（在 EMR 上），这些作业从 Kafka 主题读取并写入 S3 中的不同路径（每个都在各自的作业中执行）。我已将集群配置为使用CapacityScheduler。这是我尝试运行的代码的 sn-p：

df = spark \
    .readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", <BOOTSTRAP_SERVERS>) \
    .option("subscribePattern", "<MY_TOPIC>") \
    .load() \
    .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")

output = df \
    .writeStream \
    .format("json") \
    .outputMode("update") \
    .option("checkpointLocation", "s3://<CHECKPOINT_LOCATION>") \
    .option("path", "s3://<SINK>") \
    .start() \
    .awaitTermination()

我尝试并行运行两个作业：

spark-submit --queue <QUEUE_1> --deploy-mode cluster --master yarn <STREAM_1_SCRIPT>.py

spark-submit --queue <QUEUE_2> --deploy-mode cluster --master yarn <STREAM_2_SCRIPT>.py

在执行期间，我注意到第二个作业没有写入 S3（即使第一个作业是）。我还注意到第二个作业通过 Spark UI 的利用率出现了巨大的峰值。

停止第一个作业后，数据显示在 S3 中的第二个作业。 不可能运行两个并行写入接收器（特别是在 S3 上）的独立 Spark 结构化流式处理作业吗？写操作是否会导致某种阻塞？

Answer 1

是的，你可以！ 那不是记录了多个来源的东西，而是唯一需要它在多个作业的线程之间共享火花上下文的东西。 我在这篇文章https://cm.engineering/multiple-spark-streaming-jobs-in-a-single-emr-cluster-ca86c28d1411 之后制作了一个多火花结构化流式传输管道，您可以给我发送电子邮件或与我交谈。

谢谢！