【问题标题】:What is the underlying programming language used in Azure Data Factory?Azure 数据工厂中使用的基础编程语言是什么?
【发布时间】:2021-09-08 19:02:23
【问题描述】:

我正在试验 Azure 数据工厂并构建管道。

我想知道 ADF 是基于什么语言构建的。我看到管道的属性保存在 JSON 中,但实际上是什么编程语言通过 JSON 解析来构建管道?

我找不到这方面的文档。任何相关链接都会非常有帮助。

【问题讨论】:

    标签: azure azure-data-factory azure-data-factory-2


    【解决方案1】:

    在 Azure 数据工厂版本 1 中,您可以通过创建一个 .NET 类库项目来实现一个(自定义)DotNet 活动,该项目具有一个实现 IDotNetActivity 接口的 Execute 方法的类。 (自定义)DotNet 活动的 JSON 有效负载中的链接服务、数据集和扩展属性作为强类型对象传递给执行方法。有关版本 1 行为的详细信息,请参阅版本 1 中的(自定义)DotNet。由于此实现,您的版本 1 DotNet 活动代码必须以 .NET Framework 4.5.2 为目标。版本 1 DotNet Activity 也必须在基于 Windows 的 Azure Batch Pool 节点上执行。

    在 Azure 数据工厂 V2 和 Synapse 管道自定义活动中,您不需要实现 .NET 接口。您现在可以直接运行编译为可执行文件的命令、脚本和您自己的自定义代码。要配置此实现,请指定 Command 属性和 folderPath 属性。自定义活动将可执行文件及其依赖项上传到文件夹路径并为您执行命令。

    https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity

    【讨论】:

    • 您好,感谢您的意见。但我的问题是关于 ADF 运行的特定语言。我确信有一种支持管道的编程语言。知道那是哪种语言吗?在我观看的一个教程中,他们提到它是 Scala,但我没有找到任何支持这一点的文档。
    • 我不是开发人员,但如果 ADF 与 Azure 中的其他服务一样,它由多个微服务组成,这些微服务都是用自己的语言开发的。我怀疑整个服务只有一种语言。您是否正在尝试解决了解底层语言可以解决的特定问题?
    【解决方案2】:

    如果您正在寻找编程接口,Data Factory 提供了一组丰富的 SDK,您可以通过使用自己喜欢的 IDE 来创作、管理或监控管道。 语言支持包括 .NET、PowerShell、Python 和 REST。

    Python SDK

    PowerShell CLI

    C# SDK

    监控:
    您可以通过 PowerShell、SDK 或浏览器用户界面中的可视化监控工具监控您的数据工厂。您可以高效且有效地监控和管理按需、基于触发器和时钟驱动的自定义流程。

    取消现有任务、一目了然地查看故障、深入了解以获取详细的错误消息并调试问题,所有这些都可以从一个单一的窗格中进行,无需上下文切换或在屏幕之间来回导航。

    【讨论】:

      猜你喜欢
      • 2010-11-28
      • 2018-09-22
      • 2022-01-09
      • 1970-01-01
      • 2020-07-08
      • 2016-01-15
      • 1970-01-01
      • 2011-03-20
      • 2014-06-07
      相关资源
      最近更新 更多