数据工厂 Blob 源 - 列标题有意义

Question

我有一堆 csv 文件加载到 Azure blob 存储中，结构如下：

文件1

日期、T1SensorFG1、T1SensorFG2、T1SensorFG3

2016 年 1 月 1 日、200、300、400

文件2

日期、T2SensorFG1、T2SensorFG2、T2SensorFG3

1/1/16, 300,250, 345

因此，本质上，两组传感器（T1 和 T2）在一个时间点发出三个读数。

我需要读取这些数据并将列标题应用于行，以便在后续处理之前知道每个读数来自哪个银行。

理想情况下，管道的结果应该是这样的：

银行、日期、FG1、FG2、FG3

T1, 1/1/16, 200, 300, 400

T2, 1/1/16, 300, 250, 345

如果这样更容易的话，我会同样对旋转结果感到满意：

银行、日期、传感器、值

T1，2016 年 1 月 1 日，FG1，200

T1，1/1/16，FG2，300

T1，1/1/16，FG3，400

等

我想不通，我不敢相信这是不可能的。

Azure Blob 是源。 Destination/Sink 可以是 blob 和/或 Azure SQL DB

请有人给我一些解决这个问题的建议。

非常感谢

史蒂夫

Answer 1

您可以使用custom copy activity 添加自己的转换/处理逻辑，并在管道中使用活动。