我可以在没有工作或笔记本的情况下在 Azure 数据工厂中简单地启动一个数据块集群吗？答案

【问题标题】：Can I simply start a databricks cluster in Azure Data Factory without a job or notebook?我可以在没有工作或笔记本的情况下在 Azure 数据工厂中简单地启动一个数据块集群吗？
【发布时间】：2023-01-13 19:35:53
【问题描述】：

我正在从 ADF 启动一个 Databricks 笔记本来执行一些预处理任务。此笔记本的集群通常不运行，应该只在 ADF 管道也在运行时运行。

但是计算集群需要几分钟才能启动，这当然会减慢管道的执行速度。

我现在的问题是，如果有任何可能，在 ADF 管道的早期阶段触发集群，因此它已经在后台启动，而 ADF 管道的早期阶段仍在运行。像这样，我可以总体上加快流水线。

我已经搜索了数据块菜单以及 ADF 菜单和工具栏，但没有找到解决方案。

谢谢你的帮助！

【问题讨论】：

标签： azure azure-data-factory azure-databricks

【解决方案1】：

我认为有一个选项叫做现有互动池. 请参考此视频以获取更多信息：https://www.youtube.com/watch?v=VZggcUdIO14。

以利用现有互动池我认为集群池中应该有一些集群

有关集群池的信息，请参阅此链接：https://learn.microsoft.com/en-us/azure/databricks/clusters/instance-pools/create?source=recommendations

【讨论】：