使用 Synapse 在 Azure VM 上执行 python 代码答案

【问题标题】：execute a python code on Azure VM using Synapse使用 Synapse 在 Azure VM 上执行 python 代码
【发布时间】：2022-01-18 12:57:49
【问题描述】：

我需要有关如何在 Azure Synapse 中创建每周执行/自动执行以下步骤一次的管道的建议：

总体目标是：对于保存在 blob 存储中的每个新文件，管道开始运行，访问 VM 并执行代码。

我有点困惑是否应该使用逻辑应用程序或 Azure 自动化。欢迎任何想法。

【问题讨论】：

我认为这将是一个有点不寻常的模式为什么不直接将 Python 代码转换为在 Synapse Notebook 中运行？然后可以使用笔记本活动从 Synapse 管道轻松安排它。您甚至可以对笔记本进行参数化，并连接到 blob 触发器，以便它响应您的“文件登陆”事件。如果需要，我可以通过一些链接做更详细的回答？

【解决方案1】：

您实际上可以直接在 Synapse Notebook 中创建 Python 脚本并访问 Blob 存储中的文件。您还可以根据 blob 存储中的任何事件使用 Synapse 管道触发 Notebook。检查Create, develop, and maintain Synapse notebooks in Azure Synapse Analytics。

当您使用 SQL 池时，突触很好。如果您只想处理 blob 中的文件，请选择 Azure 数据工厂，它为您提供更好的选择，例如根据 blob 存储中的事件触发管道。您可以使用custom activity in ADF 运行python 脚本。

而且，您可以在 ADF 中针对 blob 存储中的任何事件运行基于事件的触发器。检查https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger?tabs=data-factory

【讨论】：