使用正则表达式查询以删除“重复”行

Question

我正在使用 PostgreSQL。我有一张桌子keywords：

# Table name: keywords
#
#  id         :integer not null, primary key
#  text       :string  not null
#  match_type :string  not null
#  adgroup_id :integer not null

表有一个唯一索引USING btree (match_type, adgroup_id, text)

现在，问题是对于相同的 adgroup_id 和 match_type 有类似 "Hello" 和 " Hello" 或 "Hello " 或 " Hello " 的文本（注意前导/尾随空格）。 问题是text 列在字符串的开头和结尾包含那些导致错误数据的空格（如果没有这些空格，它就不会通过 uniq 索引）。

我计划将来在插入之前添加空白修剪，但首先我需要清理数据。

如何删除“重复”数据而留下唯一数据（基于字符串比较没有前导和尾随空格）？

Answer 1

demo:db<>dbfiddle （示例包含两组：“Hello”没有一个没有空格的元素；“Bye”包含两个没有空格的元素）

DELETE FROM keywords
WHERE id NOT IN (
    SELECT DISTINCT ON (trim(text))                 --1
        id
    FROM
        keywords
    ORDER BY 
        trim(text), 
        text = trim(text) DESC                   --2
)

1. 对修剪过的文本进行分组。
2. 如果文本是没有空格的文本，则按修剪文本和信息排序。如果有一个元素，那么它将首先排序并由DISTINCT ON 子句获取。如果没有其他元素将被采用

---

包含附加列的解决方案：

    DELETE FROM keywords
    WHERE id NOT IN (
        SELECT DISTINCT ON (match_type, adgroup_id, trim(text))
            id
        FROM
            keywords
        ORDER BY 
            match_type,
            adgroup_id,
            trim(text), 
            text = trim(text) DESC
    )

Answer 2

这是一种选择，使用 CTE。 CTE 查找所有具有 两个 或更多 text 值的 (match_type, adgroup_id) 组，这些值与修剪的前导和尾随空格相同。我们还计算了以下内容：

• cnt - 对于每个组，文本的“纯”版本出现的次数。这里的纯是指没有前导或尾随空格的文本
• rn - 每个(match_type, adgroup_id) 组的任意行号，从值 1 开始

然后，只有当它出现在重复组中并且它不是纯文本版本 (cnt > 0) 或任意行号大于 1 时，我们才会删除该行。这意味着对于"Hello " 和" Hello" 的情况，这两条记录之一将被任意删除。但是，如果有第三个“纯”记录，"Hello"，那么这将被保留，前两个 cased 都将被删除。

with cte as (
    select match_type, adgroup_id, trim(text) as text,
        count(case when text = trim(text) then 1 end) as cnt,
        row_number() over (partition by match_type, adgroup_id order by trim(text)) rn
    from keywords
    group by match_type, adgroup_id, trim(text)
    having count(*) > 1
)

delete
from keywords k1
where exists (select 1 from cte k2
              where k1.match_type = k2.match_type and
                    k1.adgroup_id = k2.adgroup_id and
                    k1.text <> k2.text and (k2.cnt > 0 or k2.rn > 1));