是否可以从 adf 连接到 databricks deltalake 表

Question

我正在寻找一种能够从 ADF 和其他 Azure 服务（如数据目录）连接到 Databricks deltalake 表的方法。我没有看到 ADF 数据源中列出的 databricks 数据存储。

关于类似的问题 - Is possible to read an Azure Databricks table from Azure Data Factory?

@simon_dmorias 似乎建议使用 ODBC 连接来连接到 databricks 表。

我尝试设置 ODBC 连接，但它需要设置 IR。创建 IR 时我看到了 2 个选项。自托管和链接 自托管。我尝试创建自托管 IR，但它需要安装在我的本地桌面上，并且可能更适用于本地 odbc 连接。我无法在关联的服务上使用 IR。

我已经能够将 powerbi 与 databricks deltalake 表连接起来，并计划在这里使用相同的凭据。这是参考链接-

https://docs.azuredatabricks.net/user-guide/bi/power-bi.html

任何指导都会有所帮助

Answer 1

你可以，但它相当复杂。您需要将 Azure 数据工厂中的 ODBC 连接器与自托管运行时一起使用。

ADF 可以使用 ODBC (https://docs.microsoft.com/en-us/azure/data-factory/connector-odbc) 进行连接。它确实需要一个自托管的 IR。假设您安装了正确的驱动程序，您可以配置与 Databricks 集群的 ODBC 连接。

可以在 Databricks 工作区 (https://docs.microsoft.com/en-us/azure/azure-databricks/connect-databricks-excel-python-r) 的集群设置屏幕中找到 ODBC 设置的连接详细信息。

该过程与您为 PowerBI 发布的过程非常相似。

Answer 2

实际上，我认为可以直接从 Databricks 工作空间内的任何表中获取元数据，通过使用当前版本的 Azure 数据目录上可用的 ODBC 连接，它会更好的本机连接器，但现在如果你想尝试一下，只需填写以下信息（在 Azure 数据目录发布应用程序上）：

驱动程序： Microsoft Spark ODBC 驱动程序（必须安装在您的系统上）

连接字符串： host=eastus.azuredatabricks.net;port=443;SSL=1;HTTPPath=sql/protocolv1/o/XXXXXXXXXXXXXXX/XXXX-XXXXXX-XXXXXX;transportMode=http;AuthMech =8

用户：令牌

密码： dapiXXXXXXXXXXXXXXXXXXXXX

并让数据库字段空白

Answer 3

请参考 Azure Databricks 官方文档User Guide > Developer Tools > Managing Dependencies in Data Pipelines 的Azure Data Factory 部分。您将在主题中看到有关如何使用 Databricks Notebook Activity 创建 Databricks 笔记本并运行它以在 Azure 数据工厂中执行传输数据任务的两个 Azure 文档列表，如下所示。我认为它会帮助您实现您的需求。

1. Run a Databricks notebook with the Databricks Notebook Activity in Azure Data Factory
2. Transform data by running a Databricks notebook