在 ADF 数据流中的聚合列上应用插入或更新

Question

我有数据流正在执行一些连接和对列的计数，然后这些列沉入 Azure SQL 表。 Azure SQL 表结构有一个 GUID 作为 ID 列。

我想要的是当计数列中的值发生变化时，它会在 Azure SQL 表中更新。而不是插入。

我在 SQL 中使用此代码使其工作，但我想在 ADF Dataflow 中实现它。我正在使用 Alter Row 表达式 true() 进行更新。在计数方面似乎不起作用。不知道我错在哪里。 如果需要，请要求澄清。

下面是有效的 SQL 代码，我想在 ADF 中实现它。

MERGE [Target] AS [T]
USING [#Temp] AS [S]
ON [T].[Filter] = [S].[Filter]
   AND ISNULL([T].[OrganisationGroup], '') = ISNULL([S].[OrganisationGroup], '')
   AND ISNULL([T].[ItemCatalog], '') = ISNULL([S].[FinancialReference], '')
   AND ISNULL([T].[CIType], '') = ISNULL([S].[CIType], '')
   AND ISNULL([T].[ConfigurationItemTypeName], '') = ISNULL([S].[ConfigurationItemTypeName], '')
   AND ISNULL([T].[Status], '') = ISNULL([S].[Status], '')
  AND ISNULL([T].[Further_Detail], '') = ISNULL([S].[Further_Detail], '')
   AND ISNULL([T].[PartitionKey], '') = ISNULL([S].[PartitionKey], '')
WHEN MATCHED AND [T].[CICount] <> [S].[CICount] THEN
    UPDATE SET [T].[CICount] = [S].[CICount]
WHEN NOT MATCHED BY SOURCE THEN
    DELETE
WHEN NOT MATCHED THEN
    INSERT

Answer 1

我已经在我的实验室中使用了一些样本数据进行了重现，请查找以下步骤。

SQL表（表tb2）中已有数据：

ADF 数据流：

1. 将源连接到 输入 数据集。这里我有新记录对比现有的 SQL 数据，所以计数会更新，如果不匹配会插入新记录。

1. 添加聚合以获取输入记录的计数。

聚合数据预览：

1. 添加 Alter row 转换以执行 upsert。

更新条件：

and(and(isNull(Name)== false(),isNull(Department)== false()),isNull(Status)== false())

注意：在这里，包括除 count 之外的所有列，因为我们基于 Count 列执行 upsert。

更改行数据预览：

4. 将 Sink 连接到 SQL 表。在设置中，启用Allow upsert并包含关键列列表。

接收器预览：

5. 执行后，当计数不匹配并插入新记录时，汇表中的计数会更新现有记录。