使用 Spark odbc 连接器从 Azure 数据工厂连接到 Databricks 表时出现问题答案

【问题标题】：Issue connecting to Databricks table from Azure Data Factory using the Spark odbc connector使用 Spark odbc 连接器从 Azure 数据工厂连接到 Databricks 表时出现问题
【发布时间】：2019-03-01 09:05:40
【问题描述】：

我们已设法使用 Spark (odbc) 连接器从 Azure 数据工厂到我们的 Azure Databricks 集群建立有效连接。在表列表中，我们确实得到了预期的列表，但是在查询特定表时，我们得到了异常。

ERROR [HY000] [Microsoft][Hardy] (35) 来自服务器的错误：错误代码： “0”错误信息： 'com.databricks.backend.daemon.data.common.InvalidMountException：使用路径 xxxx 解析安装中的路径 xxxx 时出错 '/mnt/xxxx'.'.. 活动 ID:050ac7b5-3e3f-4c8f-bcd1-106b158231f3

在我们的例子中，存储在 Azure Data Lake 2 中的 Databrick 表和装载的 parquet 文件与上述异常有关。有什么建议可以解决这个问题吗？

附言。从 Power BI 桌面连接时出现相同的错误。

谢谢巴特

【问题讨论】：

你是如何连接到 gen2 湖的？如果您使用了 spark.conf 设置，则很可能此会话不可用。如果你打开一个 sql notebook 并从表中选择它是否有效？
嗨@simon_dmorias，如果我打开一个SQL笔记本，我可以很好地查询表：使用数据库名； select * from tablename 我将检查我们的 gen2 湖连接设置并稍后提供反馈，一位同事做了这个实现。
嗨@simon_dmorias，我们的datalake gen 2连接设置为：configs = {"fs.azure.account.auth.type": "OAuth", "fs.azure.account.oauth.provider .type”：“org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider”、“fs.azure.account.oauth2.client.id”：“xxx”、“fs.azure.account.oauth2.client.secret” ": "xxx", "fs.azure.account.oauth2.client.endpoint": "login.microsoftonline.com/xxx/oauth2/token"} dbutils.fs.mount( source = "abfss://datalake@datalakexxx.dfs.core.windows.net /", mount_point = "/mnt/datalake", extra_configs = configs) dbutils.fs.ls("dbfs:/mnt/datalake")
我听说通过 Databricks odbc 连接的 gen2 datalake 集成可能仍在开发中。谁能证实这一点？
你找到解决办法了吗？

标签： powerbi parquet azure-data-factory azure-data-lake azure-databricks

【解决方案1】：

在你的挂载湖的配置中，你可以添加这个设置：

"fs.azure.createRemoteFileSystemDuringInitialization": "true"

我还没有尝试过您的确切方案 - 但是这使用 Databricks-Connect 为我解决了类似的问题。

【讨论】：