【发布时间】:2021-08-13 05:28:30
【问题描述】:
我想使用 Azure 数据工厂/Synapse Analytics 将具有不同架构的多个文件 (.csv) 合并/联合到一个文件 (.csv) 中。
例子:
文件 1,架构:
| C1 | C2 | C3 | C4 | C5 |
|---|---|---|---|---|
| 01 | 02 | 03 | 04 | 05 |
| 01 | 02 | 03 | 04 | 05 |
文件 2,架构
| C1 | C5 | C3 |
|---|---|---|
| 01 | 05 | 03 |
| 01 | 05 | 03 |
文件 3,架构:
| C1 | C4 | C2 |
|---|---|---|
| 01 | 04 | 02 |
| 01 | 04 | 02 |
我的 expexted 输出应该是:
| C1 | C2 | C3 | C4 | C5 |
|---|---|---|---|---|
| 01 | 02 | 03 | 04 | 05 |
| 01 | 02 | 03 | 04 | 05 |
| 01 | 03 | 05 | ||
| 01 | 03 | 05 | ||
| 01 | 02 | 04 | ||
| 01 | 02 | 04 |
所有文件都在同一个文件夹中
但我遇到以下问题,因为某些列未在所有文件中列出
{ "errorCode": "2200", "message": "ErrorCode=UserErrorInvalidColumnMappingColumnNotFound,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=找不到列映射中指定的列 'C2'在源数据中。,Source=Microsoft.DataTransfer.ClientLibrary,'", "failureType": "UserError", "target": "Copy_24a", "details": [] }
我尝试使用架构漂移,但结果不一样。
谁能告诉我如何做到这一点?
更新
现在,我正在尝试从数据流进行联合转换。我的来源是一个文件夹,我有几个/多个文件。如下:
但是,问题仍然存在。实际上,如果我检查预览,显示的信息是不正确的:
奇怪的是,直接从原点查看预览看起来不错,因为我想要结果(分隔文本):
希望任何人都可以提供帮助!
提前致谢!
【问题讨论】:
标签: csv azure-data-factory azure-synapse azure-data-flow