ADF 数据流未在调试模式下完成

Question

我正在使用映射数据流活动（Azure SQL DB 到 Synapse）在 Azure 数据工厂上构建管道。当我为源启用采样数据时，管道在调试模式下完成。当我禁用采样数据并运行调试时，我在管道中没有任何进展。即没有一个转换完成（黄点）

为了改善这一点，我是否应该从源/接收器增加批量大小（如何确定批量大小），增加分区数量（如何确定合适的分区数量）

Answer 1

您在 Azure 集成运行时中数据流属性下设置的 Spark 计算集群的大小是多少。首先创建一个具有足够内核的 Azure IR，以便为您的进程提供 RAM。然后您可以调整分区和批量大小。该领域的大部分学习成果都在此ADF data flow performance guide 处分享。