在 Azure 的数据工厂中将不同数量的行合并为一行答案

【问题标题】：Combine the varying number of rows to one row in Data Factory in Azure在 Azure 的数据工厂中将不同数量的行合并为一行
【发布时间】：2021-10-10 11:46:39
【问题描述】：

我是 Azure 数据工厂的新手，我在解决这个问题时遇到了问题。我想根据第一列的子字符串将不同数量的行组合成一行，我知道我可以使用 collect() 但问题是我没有键列。

这是我在 csv 文件中的数据看起来像

PREC001 纽约
DREC12023 ALKBY23
PREC001 新泽西州
DREC23545
AREC20210728 2.30
...

我希望输出是这样的
PREC001 纽约 DREC12023 ALKBY23
PREC001 NJ DREC23545 AREC20210728 2.30
....

所以我想将多行合并为一并开始新行，如果行以'PREC'开头，您可以看到将合并的行数是不同的。

【问题讨论】：

是否存在“PREC”和其他行出现的任何特定模式？它们是否在任何特定数字后重复？您可以使用映射数据中的代理键转换在数据集中创建键列。关注：@987654321 @
您是否考虑过将“PREC”替换为“|PREC”，然后使用“|”进行处理作为行分隔符？您可以通过数据流进行替换，然后使用“|”复制活动作为行分隔符，应该这样做。

标签： azure azure-data-factory derived-column

【解决方案1】：

只是为了添加到@Trent Tamara 逻辑，我引入了一个派生列并使用下面的表达式替换

iif(like(Column_1,'%PREC%'),replace(Column_1,'PREC', '|PREC'),Column_1)

只是为了添加，我必须使用替换值写入 blob 文件，然后使用行分隔符读取文件作为“|” .我不知道为什么它从来没有被写操作唤醒。

【讨论】：