【问题标题】:Azure Synapse Pipeline-Execute an executable on a onpremise serverAzure Synapse Pipeline - 在本地服务器上执行可执行文件
【发布时间】:2021-08-11 23:32:37
【问题描述】:
我们将 Azure Synapse Pipelines 用于 ETL。在管道结束时,我们需要调用可执行文件以刷新 Qliksense 仪表板。可执行文件和 Qliksense 服务器驻留在本地服务器上。(操作系统为 Windows)
我们如何从 Azure Synapse 管道调用本地服务器上的可执行文件?我们是否需要使用自托管集成运行时?
谢谢
【问题讨论】:
标签:
azure
azure-data-factory
azure-data-factory-2
qliksense
azure-synapse
【解决方案1】:
我认为 Azure Synapse Pipelines 不会让您轻松做到这一点,即使使用自托管集成运行时(尽管很高兴得到纠正)。您没有在 SSIS 中拥有的Execute Process 任务,并且您没有能力在 SQL 代理作业步骤中执行 Powershell 步骤,因此在某些方面这是一个倒退步骤。当然,您确实获得了云类型的可扩展性,所以这是一种权衡。在访问本地 data 存储方面,现在可以使用私有端点。详情请见here。
不过,您确实有几个选择:
- 移至 Azure Run Book 自动化 - 这将允许您通过 REST API 和 Powershell 调用链接到 Synpase Pipelines(或 Azure 数据工厂 (ADF))的调用
- 查看 Azure Batch 和 Custom activity - 这需要从批处理 VM 到您的本地的视线,例如 Azure ExpressRoute
- 切换到 ADF 并使用 SSIS-IR 执行 SSIS 包来完成您需要的任务,例如通过
Execute Process 任务
这里有几个选项供您探索,看看哪个最适合您。