在 Azure 数据工厂中执行 Databricks Notebook 给出：目标 Notebook1 上的操作失败答案

【问题标题】：Executing Databricks Notebook in Azure Data Factory gives: Operation on target Notebook1 failed在 Azure 数据工厂中执行 Databricks Notebook 给出：目标 Notebook1 上的操作失败
【发布时间】：2021-01-02 02:51:36
【问题描述】：

我创建了一个运行时版本为“7.5（包括 Apache Spark 3.0.1、Scala 2.12）”的 Azure Databricks 集群，并在该集群上创建了一个笔记本（Python 代码）。

我正在尝试从基于 Azure 数据工厂的管道执行此笔记本，但我收到以下错误：

Operation on target Notebook1 failed: Databricks execution failed with error state Terminated. For more details please check the run page url: https://PATH

根据给定的路径，真正的错误是：

ModuleNotFoundError: No module named 'pyodbc'

这里的问题是我已经安装了所有的库，如下图：

而且我可以在notebook上成功导入（如下图），其实直接从notebook启动整个脚本就可以成功执行：

问题是我无法从 Azure 数据工厂执行笔记本，我得到的第一个错误是没有模块 pyodbc！

我应该在我的笔记本上添加一个 pip install pyodbc （它可靠吗）？还是我错过了什么？

谢谢，

【问题讨论】：

您是否在现有集群上运行此笔记本？
是的，我使用运行时版本“7.5（包括 Apache Spark 3.0.1、Scala 2.12）”创建的集群
嗨@DSEB，你有什么进展吗？如果回答对你有帮助，希望你能采纳。这对其他社区成员可能是有益的。谢谢。

标签： python-3.x azure azure-data-factory databricks azure-databricks

【解决方案1】：

我创建了一个环境相同的集群，但代码运行良好。

运行 pyodbc 代码：

然后我在数据工厂中运行笔记本，它也运行良好。

如果您在笔记本上添加pip install pyodbc，它应该可以工作，但可能不推荐。请尝试重启集群或重新安装pyodbc库。

HTH。

【讨论】：