【发布时间】:2021-02-11 01:16:50
【问题描述】:
我决定尝试使用 Azure 数据工厂将数据从一个 SQL 托管实例数据库复制到另一个数据库,并在此过程中对数据进行一些修整。
我已经为每个数据库/表设置了两个数据集,导入了架构 ok(这些是重复的,所以相同)创建了一个数据流,其中一个作为源并更新了投影中的架构,添加了一个简单的 AlterRow(列!= 201 ) 给它 PK 然后我将第二个数据集添加为接收器,由于某种原因,在映射中所有输出列都显示为“字符串”,但输入列显示正确。
因此映射失败,因为它认为输入和输出不匹配?我不明白为什么数据集中的 Schema 都正确显示,而源数据流中的投影也正确显示,但它认为我正在输出到所有字符串列?
TIA
【问题讨论】:
-
您能否尝试通过在数据流源转换中使用“导入投影”而不是依赖数据集架构来直接在投影中导入架构?
-
谢谢马克,我正在做这两件事设置或导入架构?也许我错过了一步?
-
所以我从两个数据集中删除了 Schema 并将投影导入到我的源中,但它仍然不满意,所以我不得不将它设置为 Allow Schema Drift,这有点奇怪,因为我知道我正在像这样移动,所以希望架构保持有效?
-
如果您删除架构,那么您本质上就是在使用架构漂移。您可以只在接收器上保留自动映射,ADF 会将传入列名称映射为传出列名称。如果您在没有架构的情况下需要更改或自定义映射列,请在接收器中使用基于规则的映射。
标签: azure azure-data-factory azure-data-factory-2 azure-sql-managed-instance