当 blob 更改时触发 Azure 数据块

Question

我正在使用 Azure databricks 中的 spark 解析 Azure blob 存储中的文件。该 blob 安装为 dbfs。现在我正在笔记本中使用硬编码的文件名（dbfs 文件名）。 但我想在创建新 blob 时使用新的 dbfs 名称触发笔记本。 我使用 Azure 函数进行了检查，我可以得到一个 blob 触发器。我可以从 Azure 函数启动数据块笔记本/作业吗？对 blob 的操作需要相当长的时间。在这种情况下是否建议使用 azure 函数。或者有没有其他方法可以实现这一点。

Answer 1

正如 Parth Deb 所说，使用 azure datafactory 会更容易满足您的要求。

您只需要创建管道触发器，然后基于“已创建 blob”创建事件触发器即可触发数据块活动。你只需要传递参数。

这是工厂的内置功能，可以查看文档：

https://docs.microsoft.com/en-us/azure/data-factory/concepts-pipelines-activities

https://docs.microsoft.com/en-us/azure/data-factory/transform-data-databricks-notebook

https://docs.microsoft.com/en-us/azure/data-factory/how-to-expression-language-functions

你可以看看上面的文档。最后，你基本上只需要一些鼠标操作。

Answer 2

我最终使用了 ADF。我使用基于文件名触发的 Blob 触发器创建了一个新管道。