是否可以在 azure 数据工厂管道中的数据中添加具有特定值的列

Question

我正在将数据从系统 X 复制到 blob 存储作为 parquet 文件或 excel 文件是否可以再添加一个步骤来帮助我添加一个具有管道运行 ID 或触发器 ID 的列？

提前谢谢你

Answer 1

您从哪里提取数据？如果是数据库，就很简单，因为你可以在选择数据时使用的sql语句中添加它。例如：

select *, NewColumn='Value' from yourTable

如果您希望为每个可能的数据源提供解决方案，您可以在数据流中使用派生列转换：https://docs.microsoft.com/en-us/azure/data-factory/data-flow-derived-column

您还可以使用字符串函数从管道本身添加数据，例如：

@concat('select *, pipeId= ''', pipeline().RunId,''' from SalesLT.Address')

这将选择所有字段，以及一个名为 pipeId 的附加字段，该字段对于每一行都具有相同的值，并且将是管道运行 ID。

希望这有帮助！