在一个表的不同行和不同列中查找相同的值 SQL

Question

我有一张有几十列和超过 200 万行的大表。 不同行的某些值可能相同，并且在同一个表的不同列和不同行中重复。我怎样才能找到它们？

示例：我需要找到所有这些。但是我不知道哪个是 VALUE 'THIS'。

id  |  c1  |  c2  |  c3  |  c4  |  c5  |  
----+------+------+------+------+------+-------  
1   | THIS |   x  |   y  |   z  | NULL |  
2   | NULL | THIS |   f  |   b  |   c  |
3   | NULL |   h  | NULL |   p  | THIS |   

找到它们后，我需要合并它们并将所有 THIS 移到 c1 列中，替换 NULL。

有什么好主意吗？ 谢谢

Answer 1

真的想不出比愚蠢的 SQL 更好的东西了：

update table set c1='THIS' where c2='THIS' or c3='THIS' or c4='THIS' or ...

大概你可以使用编辑器快速生成查询，然后复制并粘贴到 mysql、psql 或其他任何东西中。

Answer 2

您可以从INFORMATION_SCHEMA.COLUMNS 读取列名并动态编写 SQL。

我使用The Impaler's approach 来获取重复值。如果您的 SQL Server 的版本是 2017 或更高版本，您可能希望使用 STRING_AGG 而不是 SET @p = ISNULL(@p + '...', '') + ... 以获得更易读的代码。

DECLARE
    @p1 NVARCHAR(MAX),
    @p2 NVARCHAR(MAX),
    @sql NVARCHAR(MAX)

SELECT
    @p1 = ISNULL(@p1 + ' AS duplicate FROM your_table UNION ALL SELECT ', '') + COLUMN_NAME,
    @p2 = ISNULL(@p2 + ', ', '') + COLUMN_NAME
FROM
    INFORMATION_SCHEMA.COLUMNS
WHERE
    TABLE_NAME = 'your_table'
    AND COLUMN_NAME NOT IN('id', 'c1')

SET @sql = '
    WITH duplicates AS (
        SELECT t.duplicate FROM (SELECT ' + @p1 + ' FROM your_table) t WHERE t.duplicate IS NOT NULL GROUP BY t.duplicate HAVING COUNT(*) > 1
    )
    UPDATE your_table
        SET
            c1 = d.duplicate
        FROM
            your_table t
            INNER JOIN duplicates d
                ON t.c1 IS NULL
                AND d.duplicate IN(' + @p2 + ')'

EXEC(@sql)

Answer 3

好吧，关于查找重复值的第一部分可以通过以下查询来完成。根据表格的列数调整它：

select c
from (
  select c1 as c from t
  union all select c2 from t
  union all select c3 from t
  union all select c4 from t
  union all select c5 from t
) x
group by c
having count(*) > 1

重复使用上面的查询，您可以得到每个值在哪些行中重复。你没有提到你正在使用哪个数据库，所以我会给你一个在 PostgreSQL 中工作的 CTE 查询。其他数据库可能需要进行细微更改：

with
v as (
  select id, c1 as c from t
  union all select id, c2 from t
  union all select id, c3 from t
  union all select id, c4 from t
  union all select id, c5 from t
),
d as (
  select c
  from v
  group by c
  having count(*) > 1
)
select
  v.c, v.id
from d
join v on v.c = d.c
order by v.c, v.id