【发布时间】：2020-08-31 14:51:54
【问题描述】：
ADF 管道和 ADF 数据流有什么区别？为什么管道和数据流中支持的接收器/源不同？是否可以创建一个管道来从源读取数据、过滤、使用连接并将数据存储到没有数据流的接收器？请告诉我。
【问题讨论】：
标签： azure-data-factory azure-data-factory-2
【发布时间】：2020-08-31 14:51:54
【问题描述】：
管道用于流程编排。数据流用于数据转换。
在 ADF 中，数据流是使用 Azure 中的数据（blob、adls、SQL、synapse、cosmosdb）在 Spark 上构建的。
管道中的连接器用于复制数据和作业编排。那里有 90 多个可用的连接器，跨越本地和其他云。
我们总是以增量方式向数据流添加更多连接器。
【讨论】：
-
Databricks 中的相同工作负载的成本似乎低于 ADF 数据流。我在两个系统中都应用了简单的转换（清理数据），但 ADF DF 最终总是花费更多。