【问题标题】:Call Databricks notebook in a specific branch from Data Factory?在数据工厂的特定分支中调用 Databricks 笔记本?
【发布时间】:2021-11-19 11:10:56
【问题描述】:

我正在使用新的 Databricks Repos 功能,在 Data Factory UI 中用于笔记本活动,您可以浏览 Databricks 工作区并选择 Repos > 用户名 > 项目 > 文件夹 > 笔记本。

是否可以从数据工厂调用特定分支中的 Databricks 笔记本?

【问题讨论】:

    标签: azure-data-factory databricks azure-databricks azure-data-factory-pipeline databricks-repos


    【解决方案1】:

    您可以从数据工厂调用特定分支中的 Databricks 笔记本。

    选择 Azure Databricks 活动。转到设置。

    这里你可以提到具体的笔记本路径。

    【讨论】:

      【解决方案2】:

      您(现在)只能调用属于特定版本结帐的笔记本 - 如果您在另一个版本中结帐,则无法调用另一个版本。例如,如果您在 master 结帐但想从 release 分支调用代码,那么您需要结帐该分支。

      但您可能有多个 Repos 与同一个 Git 存储库关联,但签出的版本不同。

      【讨论】:

        【解决方案3】:

        您无法从数据工厂调用 Databricks 中的特定分支。我们的解决方案是在 Databricks 中创建具有相同存储库但不同分支的多个文件夹。

        通过数据工厂中的动态内容,我们可以从 SQL Server 加载路径并调用它们。 (或在 DF 中使用 if/else 和 vars 对其进行硬编码)。

        【讨论】:

          猜你喜欢
          • 2022-06-30
          • 2023-03-17
          • 2022-08-19
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2020-07-09
          • 1970-01-01
          • 2022-08-04
          相关资源
          最近更新 更多