关于数据工厂 V2 复制数据活动的问题我有 5 个问题。
问题 1
我应该使用 parquet 文件还是 500 DTU 的 SQL 服务器 我想将数据快速传输到 staging 表或 staging parquet 文件
问题 2
复制数据活动数据集成单元我应该使用自动还是 32 数据集成单元
问题 3
使用复制并行度有什么好处我应该使用自动还是再次使用 32 我想尽可能快地传输所有内容我每天大约有 5000 万行。
问题 4
数据流集成运行时间，所以我应该使用通用、计算优化或内存优化，因为我提到我们每天有 5000 万行，所以我们想要处理如果我们可以在数据流中尽可能快地获取数据，并且以某种方式便宜
问题 5
大容量插入在数据工厂和数据流接收器中更好
【问题讨论】：
标签： azure azure-data-factory-2
我认为你有太多关于太多主题的问题，答案将完全取决于你想要的最终结果。尽管如此，我还是会尽量简单地说明一下你的情况。
如果您要处理大量和/或频率较大的问题，数据流 (ADFDF) 可能会比复制活动更好。 ADFDF 通过 Data Bricks 在 Spark 上运行，并且从头开始构建以运行并行工作负载。 Parquet 还用于支持并行工作负载。如果您的 SQL 是 Azure Synapse (SQLDW) 实例，那么 ADFDF 将使用 Polybase 来管理上传，这非常快，因为它也是为并行工作负载构建的。我不确定这与 Azure SQL 有何不同，也无法告诉您哪种 DTU 级别最适合您的任务。
如果将 Parquet 作为最终结果是可以接受的，那么这可能是最简单且最便宜的配置，因为它只是 blob 存储。 ADFDF 与 Parquet 一起工作得很好，作为 Source 或 Sink。对于 ETL 工作负载，计算是最可能的 IR 配置。好消息是它是三者中最便宜的。坏消息是我无法知道核心数量应该是多少，您只能通过反复试验找出答案。 5000 万行听起来可能很多，但实际上取决于行大小（字节数和列数）和频率。如果进程每天运行多次，那么您可以在 IR 配置中包含“生存时间”值。这将使集群在等待另一个作业时保持温暖，从而可能减少启动时间（但会产生更多的运行时间成本）。
【讨论】：