我们在 Azure 上为我们的客户设计了一个数据架构，其中，我们将源数据提取到由 Azure SQL 数据库组成的原始层中。此 Azure SQL 数据库充当源镜像并启用了近乎实时的同步。
我们还有一个 ODS 层，它根据给定的数据模型从前面提到的 Azure SQL 数据库（源镜像）中填充。理想情况下，该层应该在 30 分钟到 1 小时之间加载。
我可以知道如何处理来自原始层（Azure SQL 数据库，源镜像）的并发写入和读取吗？它每 5 分钟与源同步一次，但也每 30 分钟读取一次 - ODS 层为 1 小时。
我必须使用 Azure 数据工厂来实现我的数据加载
【问题讨论】：
是的，Azure 数据工厂平台最适合此类场景。它是一种基于云的 ETL 和数据集成工具，可让您构建数据驱动的流程，以大规模管理数据传输和数据转换。你可以使用 Azure 数据工厂来设计和规划可能使用来自各种来源的数据的数据驱动流程（也称为管道）。借助 Azure HDInsight Hadoop、Azure Databricks 和 Azure SQL 数据库等数据流或计算服务，您可以设计以图形方式转换数据的复杂 ETL 流程。
使用控制流时，您可以使用 GetMetadata 活动来获取 存储帐户中的文件列表，然后将该列表传递给每个 将 Sequential 标志设置为 false 的活动以处理所有文件 同时（并行）达到最大批量大小，根据 在 for each 循环中定义的活动。
这里是 Azure Datafactory 连接器概述的 Microsoft 官方文档 | Docs
【讨论】：