自定义脚本组件 SSIS 以过滤和合并重复项

Question

我有一个联系人列表，他们的信息来自两个不同的数据库，我已对其执行了 Union All 并对其进行了排序。现在我有一个汇总列表，如下所示：

contactid   add1            add2     city     phone        fullname     source
-----      -----            -----    -----    -----         -----        ----- 
BOOG1     1598 Tree Drive  Apt:215    NYC  718-888-9989   Andrew Sample    DB1
NULL      NULL             Apt:215         718-888-9989   Andrew Sample    DB2

BOOG6     1598 Tree Drive  Apt:215    NYC  718-888-8888   Andria Toefield  DB1
NULL      NULL  Apt:215                     718-888-9888   Andria Toefield  DB2
....
....
....

基本上，我想使用一个脚本组件来比较 Rows Andrew Samples，如果列为空，则选择不是的，如果存在冲突数据，则选择 db2 中的数据作为替换它的数据.所以最终的结果应该是这样的：

contactid   add1            add2     city     phone        fullname  
-----      -----            -----    -----    -----         -----          
BOOG1   1598 Tree Drive   Apt:215    NYC  718-888-9989   Andrew Sample    

BOOG6   1598 Tree Drive   Apt:215    NYC  718-888-9888    Andria Toefield  
....
....
....

我不确定如何在 C# 中开始编写脚本。我不知道如何选择行，然后比较行中的某些列。

Answer 1

我不会在脚本任务中尝试这个 - 跨行比较太难了。

我会在名称列上添加一个模糊分组转换来分组。这将添加一个 _key_out 列（以及其他列）。我会将结果放入 SQL 表中。

然后我会编写一个复杂的 SQL 查询，其中包含 _key_out 列上的 GROUP BY，以及其他每个列的 CASE 语句，以解决您的“缺失”和“冲突”要求。

一旦您将其指向任何规模的真实数据集，这种设计的好处就会真正得到回报。毫无疑问，您将遇到比上述示例更复杂的场景，例如DB1 有 2 个“John Smith”行，DB2 有 3 个“John Smith”行。您将能够调整模糊分组参数和/或添加辅助模糊分组以打破平局。

在此过程中，您可以查询中间 SQL 表中的结果以优化对这些问题的处理。