SQL - 查找重复字段并计算匹配的字段数

Question

我有一个大型客户数据库，在某些情况下会多次添加客户，这会导致问题。我可以使用查询来识别完全匹配的记录，尽管有些记录有细微的变化，例如不同的地址或名字。

我想查询 10 个字段，有些记录将匹配所有 10 个字段，这显然是重复的，尽管其他字段可能只匹配 5 个字段与另一条记录，需要进一步调查。因此，我想创建一个结果集，其中包含有多少个字段已匹配的字段。基本上，要创建可能罩的评级，结果是实际匹配。所有 10 个都是明确的重复，但 5 个只是可能的重复。

有些只会匹配 POSTCODE 和 FIRSTNAME，通常可以打折。

这样的事情有帮助，但因为它只返回与所有 3 条记录显式匹配的记录，由于数据量太大，它并不是真正有用。

SELECT field1,field2,field3, count(*)
FROM table_name
GROUP BY field1,field2,field3
HAVING count(*) > 1

Answer 1

你可以试试

Select field1, field2, field3, ... , field10, count(1)
  from customerdatabase
 group by field1, field2, field3, ... , field10
 order by field1, field2, field3, ... , field10

field1 到 field10 按“最可识别/最重要”到最少排序。

Answer 2

这与我想要实现的目标非常接近，它将返回所有包含任何重复字段的记录。我想在结果中添加一列，指示有多少字段与表中的任何其他记录匹配。总共大约有 40,000 条记录。

select * from [CUST].[dbo].[REPORTA] as a
where exists
(select [GIVEN.NAMES],[FAMILY.NAME],[DATE.OF.BIRTH],[POST.CODE],[STREET],[TOWN.COUNTRY]
   from [CUST].[dbo].[REPORTA] as b
   where a.[GIVEN.NAMES] = b.[GIVEN.NAMES]
     or a.[FAMILY.NAME] = b.[FAMILY.NAME]
      or a.[DATE.OF.BIRTH] = b.[DATE.OF.BIRTH]
      or a.[POST.CODE] = b.[POST.CODE]
      or a.[STREET] = b.[STREET]
       or a.[TOWN.COUNTRY] = b.[TOWN.COUNTRY]
   group by [GIVEN.NAMES],[FAMILY.NAME],[DATE.OF.BIRTH],[POST.CODE],[STREET],[TOWN.COUNTRY]
   having count(*) >= 1) 

此查询将返回数千条记录，但我通常对具有大量完全匹配字段的记录感兴趣

Answer 3

您只是缺少CUBE() 的魔力，它会自动生成所有列组合

DECLARE @duplicate_column_threshold int = 5;

WITH cte AS (
  SELECT
    field1,field2,...,field10
   ,duplicate_column_count = (SELECT COUNT(col) FROM (VALUES (field1),(field2),...,(field10)) c(col))
  FROM table_name
  GROUP BY CUBE(field1,field2,...,field10)
  HAVING COUNT(*) > 1
)
SELECT *
INTO #duplicated_rows
FROM cte
WHERE duplicate_column_count >= @duplicate_column_threshold

---

更新：要从原始表中获取行，请使用在比较列时将 NULL 视为通配符的技术将其与 #duplicated_rows 连接。

SELECT
  a.* 
 ,b.duplicate_column_count
FROM table_name a 
INNER JOIN #duplicated_rows b
  ON  NULLIF(b.field1,a.field1) IS NULL
  AND NULLIF(b.field2,a.field2) IS NULL
  ...
  AND NULLIF(b.field10,a.field10) IS NULL