【问题标题】:Fail azure data factory pipeline if notebook execution skipped如果跳过笔记本执行,Azure 数据工厂管道将失败
【发布时间】:2019-11-08 16:19:40
【问题描述】:

我已经构建了一个 ADF 管道,并且正在管道中执行多个 databricks 笔记本。当其中一个笔记本失败时,笔记本中的 remining 命令会跳过,但管道没有失败。如果笔记本失败并且跳过下一个命令,我想确保管道执行停止

我已尝试触发错误以使管道失败

不适用

我想确保如果笔记本失败并跳过下一个命令,管道执行会停止

【问题讨论】:

    标签: azure-data-factory-2 azure-databricks


    【解决方案1】:

    如果您按如下方式连接 Azure Databricks 活动:

    只有在第一个 Notebook-Activity 成功时才会执行 Notebook2-Activity。

    这里第一个活动失败,下一个没有执行(Azure 数据工厂的监控视图):

    【讨论】:

    • 感谢您的回答。我以同样的方式设置了笔记本。在我添加 try catch 之前,它工作正常,但在 try catch 之后,如果其中一个命令行失败,则跳过剩余的命令,但笔记本没有失败
    • 您可以在问题中添加图片或 json 来查看您的管道到底是什么样子的?谢谢
    • 我已经添加了管道的图片。如果之前笔记本中的任何命令失败,它应该会失败
    【解决方案2】:

    使用assert;这是Scala代码sn-p:

    try {
      ... ... ...
    }
    catch {
      case e: Exception => {
        println("exception caught while ... ... : " + e)
        assert(false)
      }
    }
    

    这将使 Azure 数据工厂中的笔记本活动失败。

    【讨论】:

      猜你喜欢
      • 2019-10-24
      • 1970-01-01
      • 2020-07-30
      • 2023-01-25
      • 2021-12-04
      • 1970-01-01
      • 1970-01-01
      • 2019-04-24
      • 1970-01-01
      相关资源
      最近更新 更多