如何通过 SQL 选择唯一记录

Question

当我执行SELECT * FROM table 时，我得到如下结果：

1 item1 data1
2 item1 data2
3 item2 data3
4 item3 data4

如您所见，column2 中有重复记录（item1 已重复）。那么我怎么能得到这样的结果：

1 item1 data1
2 item2 data3
3 item3 data4

只有一条记录从重复中返回，以及其余的唯一记录。

Answer 1

使用带有单列名称和多列名称的 distinct 关键字，您可以获得不同的记录：

SELECT DISTINCT column 1, column 2, ...
FROM table_name;

Answer 2

如果您只需要删除重复项，请使用DISTINCT。 GROUP BY 应该用于将聚合运算符应用于每个组

GROUP BY v DISTINCT

Answer 3

这取决于您要为每个独特的项目返回哪个行。您的数据似乎表明了 SQL Server 实例中的最小数据值。

SELECT item, min(data)
FROM  table
GROUP BY item

Answer 4

我发现如果我因任何原因不能使用 DISTINCT，那么 GROUP BY 将起作用。

Answer 5

要获得结果中的所有列，您需要放置以下内容：

SELECT distinct a, Table.* FROM Table

它将 a 作为第一列，其余列将按照与您的定义相同的顺序排列。也就是说，列 a 将被重复。

Answer 6

选择 Eff_st 从 ( 选择 EFF_ST,ROW_NUMBER() over(PARTITION BY eff_st) XYZ - 来自 ABC.CODE_DIM

) 其中 XYZ= 1 按 EFF_ST 排序，仅获取前 5 行

Answer 7

只使用内连接，因为 group by 不能用于表示不包含在任一聚合函数中的多个列。

SELECT a.*
FROM yourtable a
INNER JOIN 
  (SELECT yourcolumn,
    MIN(id) as id
  FROM yourtable 
  GROUP BY yourcolumn
) AS b
  ON a.yourcolumn= b.yourcolumn
  AND a.id = b.id;

Answer 8

您可以使用 4 种方法：

1. 不同
2. 分组依据
3. 子查询
4. 带有 ROW_NUMBER() 的公用表表达式 (CTE)

考虑以下带有测试数据的示例TABLE：

/** Create test table */
CREATE TEMPORARY TABLE dupes(word text, num int, id int);

/** Add test data with duplicates */
INSERT INTO dupes(word, num, id)
VALUES ('aaa', 100, 1)
      ,('bbb', 200, 2)
      ,('ccc', 300, 3)
      ,('bbb', 400, 4)
      ,('bbb', 200, 5)     -- duplicate
      ,('ccc', 300, 6)     -- duplicate
      ,('ddd', 400, 7)
      ,('bbb', 400, 8)     -- duplicate
      ,('aaa', 100, 9)     -- duplicate
      ,('ccc', 300, 10);   -- duplicate

选项 1：选择 DISTINCT

这是最简单直接，但也是最有限的方式：

SELECT DISTINCT word, num 
FROM    dupes
ORDER BY word, num;

/*
word|num|
----|---|
aaa |100|
bbb |200|
bbb |400|
ccc |300|
ddd |400|
*/

选项 2：分组方式

分组允许您添加聚合数据，例如min(id)、max(id)、count(*) 等：

SELECT  word, num, min(id), max(id), count(*)
FROM    dupes
GROUP BY word, num
ORDER BY word, num;

/*
word|num|min|max|count|
----|---|---|---|-----|
aaa |100|  1|  9|    2|
bbb |200|  2|  5|    2|
bbb |400|  4|  8|    2|
ccc |300|  3| 10|    3|
ddd |400|  7|  7|    1|
*/

选项 3：子查询

使用子查询，您可以首先识别要忽略的重复行，然后在外部查询中使用WHERE NOT IN (subquery) 构造将它们过滤掉：

/** Find the higher id values of duplicates, distinct only added for clarity */
    SELECT  distinct d2.id
    FROM    dupes d1
        INNER JOIN dupes d2 ON d2.word=d1.word AND d2.num=d1.num
    WHERE d2.id > d1.id

/*
id|
--|
 5|
 6|
 8|
 9|
10|
*/

/** Use the previous query in a subquery to exclude the dupliates with higher id values */
SELECT  *
FROM    dupes
WHERE   id NOT IN (
    SELECT  d2.id
    FROM    dupes d1
        INNER JOIN dupes d2 ON d2.word=d1.word AND d2.num=d1.num
    WHERE d2.id > d1.id
)
ORDER BY word, num;

/*
word|num|id|
----|---|--|
aaa |100| 1|
bbb |200| 2|
bbb |400| 4|
ccc |300| 3|
ddd |400| 7|
*/

选项 4：使用 ROW_NUMBER() 的公用表表达式

在公用表表达式 (CTE) 中，选择 ROW_NUMBER()，按组列分区并按所需顺序排序。然后只选择有ROW_NUMBER() = 1的记录：

WITH CTE AS (
    SELECT  *
           ,row_number() OVER(PARTITION BY word, num ORDER BY id) AS row_num
    FROM    dupes
)
SELECT  word, num, id 
FROM    cte
WHERE   row_num = 1
ORDER BY word, num;

/*
word|num|id|
----|---|--|
aaa |100| 1|
bbb |200| 2|
bbb |400| 4|
ccc |300| 3|
ddd |400| 7|
*/

Answer 9

我不确定接受的答案是否有效。它至少不适用于postgres 12。 DISTINCT 关键字应该应用于select 查询中的所有列，而不仅仅是写入DISTINCT 关键字旁边的列。因此，基本上，这意味着结果中返回的每一行在select 查询列的组合方面都是唯一的。在 OP 的问题中，以下两个结果行已经不同，因为它们的 column1 和 column 3 具有不同的值。

1 item1 data1
2 item1 data2

现在，回答这个问题，至少在postgres 中有一个DISTINCT ON 关键字。这将达到 OP 的要求。

select DISTINCT ON(column2) column1, column3 from Table1;