Azure Databricks 流失败并出现 StorageException：无法验证复制源

Question

我们有一个 Databricks 作业突然开始持续失败。有时它会运行一个小时，有时它会在几分钟后失败。

内部异常是

ERROR MicroBatchExecution: Query [id = xyz, runId = abc] terminated with error
shaded.databricks.org.apache.hadoop.fs.azure.AzureException: hadoop_azure_shaded.com.microsoft.azure.storage.StorageException: Could not verify copy source.

该作业以笔记本为目标，该笔记本使用 PySpark 结构化流从 event-hub 消费，根据数据计算一些值，并将数据流回另一个 event-hub 主题。

集群是一个池，有 2 个工作人员和 1 个驱动程序在标准 Databricks 9.1 ML 上运行。

我们多次尝试重新启动作业，同时使用干净的输入数据和检查点位置。 我们很难确定是什么导致了这个错误。 我们在日志中看不到任何 403 Forbidden 错误，有时在论坛上提到这是一个原因 . 非常感谢任何帮助。

Answer 1

通过将检查点（Spark 内部使用）位置从标准存储移动到高级存储来解决问题。我不知道为什么它在运行了几个月几乎没有打嗝后突然开始失败。 无论如何，高级存储可能是检查点的更好地方，因为 I/O 更便宜。