用于 ADF 和数据块的 azure devops答案

【问题标题】：azure devops for ADF and databricks用于 ADF 和数据块的 azure devops
【发布时间】：2021-03-28 06:49:51
【问题描述】：

我正在尝试为我使用 databricks 笔记本的 azure 数据工厂创建一个 azure ci/cd 管道。使用 ADF 的 ARM 模板成功创建了管道，但我看不到 databricks 工作区 URL 的任何覆盖参数，这就是我在开发和生产环境中获得相同 databricks URL 的原因。

谁能帮我为 Dev 和 prod 动态设置 databricks 工作区 URL？

【问题讨论】：

所有链接服务，包括数据块服务，默认情况下都是参数化的。你能看到任何其他链接的服务吗？你有哪些 ARM 参数模板？
它只显示了 ARM 参数中的数据块 accessToken，但我也希望“Databrick Workspace URL”作为参数，因为它对于每个环境都不同。
这就是我解决这个问题的方法......如果你不能按照它提出问题。 keepsecure.ca/blog/fixing-adf-databricks-linked-service
另见stackoverflow.com/questions/64818057/…
@Jaydeepsinh 您可以发布一个答案来结束这个问题。您的回答可以造福他人。

标签： azure-devops azure-data-factory azure-databricks

【解决方案1】：

你需要在 qa 和 prod 中创建一个令牌，并在你的 ci cd 管道中使用它。令牌是唯一的并自动链接到相应的服务

【讨论】：

【解决方案2】：

对于面临同样挑战的任何人，我只是将此代码添加到我的 arm-template-parameters-definition.json：

"AzureDatabricks": {
            "properties": {
                "typeProperties": {
                    "domain": "=",
                    "existingClusterId":"=",
                    "accessToken": {
                        "secretName": "="
                    }
                }
            }
        }

这将使参数显式地被覆盖。

如果您使用的是 Microsoft 提供的默认模板，我在“ODBC”部分 factory/linkedServices 下插入了代码。

【讨论】：