【发布时间】:2021-09-08 19:02:23
【问题描述】:
我正在试验 Azure 数据工厂并构建管道。
我想知道 ADF 是基于什么语言构建的。我看到管道的属性保存在 JSON 中,但实际上是什么编程语言通过 JSON 解析来构建管道?
我找不到这方面的文档。任何相关链接都会非常有帮助。
【问题讨论】:
标签: azure azure-data-factory azure-data-factory-2
我正在试验 Azure 数据工厂并构建管道。
我想知道 ADF 是基于什么语言构建的。我看到管道的属性保存在 JSON 中,但实际上是什么编程语言通过 JSON 解析来构建管道?
我找不到这方面的文档。任何相关链接都会非常有帮助。
【问题讨论】:
标签: azure azure-data-factory azure-data-factory-2
在 Azure 数据工厂版本 1 中,您可以通过创建一个 .NET 类库项目来实现一个(自定义)DotNet 活动,该项目具有一个实现 IDotNetActivity 接口的 Execute 方法的类。 (自定义)DotNet 活动的 JSON 有效负载中的链接服务、数据集和扩展属性作为强类型对象传递给执行方法。有关版本 1 行为的详细信息,请参阅版本 1 中的(自定义)DotNet。由于此实现,您的版本 1 DotNet 活动代码必须以 .NET Framework 4.5.2 为目标。版本 1 DotNet Activity 也必须在基于 Windows 的 Azure Batch Pool 节点上执行。
在 Azure 数据工厂 V2 和 Synapse 管道自定义活动中,您不需要实现 .NET 接口。您现在可以直接运行编译为可执行文件的命令、脚本和您自己的自定义代码。要配置此实现,请指定 Command 属性和 folderPath 属性。自定义活动将可执行文件及其依赖项上传到文件夹路径并为您执行命令。
https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity
【讨论】:
如果您正在寻找编程接口,Data Factory 提供了一组丰富的 SDK,您可以通过使用自己喜欢的 IDE 来创作、管理或监控管道。 语言支持包括 .NET、PowerShell、Python 和 REST。
监控:
您可以通过 PowerShell、SDK 或浏览器用户界面中的可视化监控工具监控您的数据工厂。您可以高效且有效地监控和管理按需、基于触发器和时钟驱动的自定义流程。
取消现有任务、一目了然地查看故障、深入了解以获取详细的错误消息并调试问题,所有这些都可以从一个单一的窗格中进行,无需上下文切换或在屏幕之间来回导航。
【讨论】: