运行 Dataflow 时，Azure 数据工厂运行时看起来不同

【问题标题】：Azure Data Factory runtime looks different when running Dataflow运行 Dataflow 时，Azure 数据工厂运行时看起来不同
【发布时间】：2020-10-14 00:15:49
【问题描述】：

我正在尝试 Azure 数据工厂 V2。我运行数据库提取并将输出接收到 Blob。当我使用 DataFlow 时，生成的文件会像 Spark 输出样式一样分成几部分。这是因为 Spark 集群是运行时（我假设）。但是，当我运行“正常”管道（无数据流）时，输出似乎不同，例如输出甚至可以是单个文件。所以我的问题是：管道和数据流之间是否存在运行时差异？谢谢

【问题讨论】：

标签： azure azure-data-factory-2

【解决方案1】：

您看到的区别在于 Copy Activity 基础架构与 Data Flow Activity 基础架构。

Copy 是为快速数据移动而构建的，而 Data Flows 是为横向扩展数据转换而构建的。

数据流概览文档中的图表可能会有所帮助：https://docs.microsoft.com/en-us/azure/data-factory/concepts-data-flow-overview

【讨论】：

感谢。我了解数据流在 Spark 上运行。但是 Copy Activity 是否只是正常的执行运行时？
复制活动与来自 Azure 集成运行时的数据流共享配置信息。 Copy Activity 还支持自托管 IR，这在 Data Flows 中不受支持。