如何在 Azure 数据工厂管道中为源数据使用动态连接器

Question

我想使用 Azure 数据工厂创建一个数据管道，其中源数据可以来自 ADLS、Oracle、S3，具体取决于用户选择提供数据的方式。这意味着我必须在管道中使用三个不同的连接器。在任何一个源中提供数据后，我想使用 databricks 进行数据转换，并再次存储与所选源对应的输出。例如，如果我选择 S3 作为源，那么我的输出也应该存储在同一个 S3 存储桶中。如果我选择 Oracle 表作为源，那么输出应该存储在一个 oracle 表中。基本上试图制作一个通用管道。使用 ADF 和 Azure DevOps 是否可行？任何关于如何开始的指示都会非常有帮助。

Answer 1

不，我们不能。数据工厂连接器使用链接服务连接到数据集。不同的源需要不同的驱动程序或设置（文件路径/类型、架构等）。目前是不可能的。