【问题标题】:Is that possible to use control M to orchestrate Azure Data factory Jobs是否可以使用 control M 来编排 Azure 数据工厂作业
【发布时间】:2019-09-26 15:13:33
【问题描述】:

是否可以使用 control M 来编排 Azure 数据工厂作业? 我发现这个代理可以安装在虚拟机上: https://azuremarketplace.microsoft.com/en-us/marketplace/apps/bmc-software.ctm-agent-linux-arm

但我没有找到有关它的文档。 Cal Control M 调用 REST API 来运行和监控作业?我可以使用 Azure 函数和 Blob 来控制它。

【问题讨论】:

    标签: azure azure-data-factory control-m


    【解决方案1】:

    所有 Control-M 组件都可以在 Azure(和大多数其他云基础设施)上安装和操作。使用您引用的链接,或者使用 Control-M 自动化 API (AAPI) 或两者的组合来部署代理。

    只要您使用的是相当新的 Control-M 版本,您就可以完成大多数操作任务,例如您可以像这样监控作业 -

    ctm run jobs:status::get -s "jobid=controlm:00001"

    Control-M API 正在快速发展,请查看此处链接的文档 -

    https://docs.bmc.com/docs/automation-api/9019100monthly/services-872868740.html#Control-MAutomationAPI-Services-ctmrunjob:status::get

    另见-

    https://github.com/controlm/automation-api-quickstarthttp://controlm.github.iohttps://docs.bmc.com/docs/display/public/workloadautomation/Control-M+Automation+API+-+Serviceshttps://52.32.170.215:8443/automation-api/swagger-ui.html

    【讨论】:

      【解决方案2】:

      目前,我认为您不会找到任何现成的用于 Control-M 与 Azure 数据工厂集成的连接器。不过,您还有其他选择!


      自己代理 ADF

      您可以为此编写胶水代码,本质上是两者之间的中介。

      1. 编写将调用 ADF REST API 以运行管道的程序。 Details Here

      2. 触发流水线后,再编写监控状态的代码。 Details Here

      3. 让 Control-M 通过有权访问代码的代理调用您的代码。

        • 我使用在本地服务器上运行的 C# 控制台应用程序和调用胶水代码的 Control-M 代理来完成此操作。
        • Control-M Documentation here 还允许您直接从 Control-M 执行 Azure 函数。这意味着您可以将代码放入 Azure 函数中。 Details Here'

      替代方法

      对于“无代码”方式,请查看此Logic App connector。 将逻辑应用写入run the pipelineget the pipeline run 以循环监控状态。

      接下来,Control-M 应该能够使用a plugin 来调用逻辑应用。


      注意事项

      **请注意,对于 Azure Functions 和逻辑应用,Control-M 需要 HTTP Trigger。 **您也许还可以利用Control-M Web Services plugin。不过,根据我的经验,我对缺乏对不同身份验证方法的支持并不满意。

      希望这会有所帮助!

      【讨论】:

        【解决方案3】:

        我刚刚看到这篇文章,所以参加聚会有点晚了。

        Control-M 包括应用程序集成器,它使您能够使用其他人创建的集成并对其进行增强或构建自己的集成。您可以使用 REST 或 cli 来指示 Control-M 在作业启动、执行和监控期间应向应用程序生成哪些请求,以及如何分析结果和收集输出。

        可从 Application Integrator 访问的公共存储库显示现有作业,其中有一个用于数据工厂。我对其进行了一些扩展,以便通过 REST 启动和监控数据工厂以完成,然后调用 Powershell 脚本来检索管道中每个活动的管道运行信息。

        我已在 https://github.com/JoeGoldberg/automation-api-community-solutions/tree/master/4-ai-job-type-examples/CTM4AzureDataFactory 中发布了该作业和脚本,但 README 稍后会发布。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2019-06-08
          • 1970-01-01
          • 2021-12-31
          • 2022-01-15
          • 2022-01-24
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多