有没有办法告诉 SQL Server 在插入每个新行之前检查表中的重复项？

Question

我尝试使用下面的 SQL 将值从一个表 importTable 插入到另一个表 POInvoicing。看来，下面这个查询的工作方式是检查POInvoicing 表中是否存在来自importTable 的任何可能重复项，对于那些不重复的条目，它将它们插入表中。最终结果是 SQL 插入 importTable 中已存在的重复项。有没有办法告诉 SQL Server 检查表中是否存在可能的重复条目，如果没有，请添加下一行。然后检查表中是否有重复条目，如果没有，请添加下一行。我知道这会慢一些，但速度不是问题。

INSERT INTO POInvoicing 
    (VendorID, InvoiceNo) 
SELECT dbo.importTable.VendorID,
       dbo.importTable.InvoiceNo
  FROM dbo.importTable
WHERE NOT EXISTS (SELECT VendorID,
                         InvoiceNo
                    FROM POInvoicing
                   WHERE POInvoicing.VendorID = dbo.importTable.VendorID AND
                         POInvoicing.InvoiceNo = dbo.importTable.InvoiceNo)

这并不是我所希望的功能。我想要的是查询在表中插入一行，然后在插入下一行之前检查“重复”。 importTable 中的重复项是 VendorID 和 InvoiceNo 的组合。 importTable 中有大约十几个不同的列，从技术上讲，每一行都是不同的，所以 DISTINCT 在这里不起作用。

由于与上述问题无关的几个原因，我不能简单地从 importTable 中删除重复项（尽管我可以在必要时提供），因此该方法已失效。

Answer 1

如果您真的不关心（或拒绝告诉我们）您想如何在具有相同 VendorID 和 InvoiceNo 值的两行之间做出决定，您可以像这样选择任意一行：

;WITH NewRows AS
(
  SELECT VendorID, InvoiceNo, InvoiceDate, /* ... other columns ... */
    rn = ROW_NUMBER() OVER (PARTITION BY VendorID, InvoiceNo ORDER BY (SELECT NULL))
  FROM dbo.importTable AS i
  WHERE NOT EXISTS (SELECT 1 FROM dbo.POInvoicing AS p
                      WHERE p.VendorID = i.VendorID
                      AND p.InvoiceNo = i.InvoiceNo)
)
INSERT dbo.POInvoicing(VendorID, InvoiceNo, InvoiceDate /* , ... other columns ... */)
  SELECT VendorID, InvoiceNo, InvoiceDate /* , ... other columns */
  FROM NewRows
  WHERE rn = 1;

如果您稍后决定在重复的情况下需要特定的行，则可以将 (SELECT NULL) 换成其他内容。例如，获取发票日期最新的行：

OVER (PARTITION BY VendorID, InvoiceNo ORDER BY InvoiceDate DESC)

再一次，我在这里问问题并不是为了让您烦恼，而是为了帮助您获得所需的解决方案。如果您希望 SQL Server 在两个重复项之间进行选择，您可以告诉它如何选择，或者您必须接受任意/不确定的结果。你不应该仅仅因为你尝试的第一件事没有按照你想要的方式工作，就跳过栅栏循环/游标。

还有please always specify the schema 和use sensible table aliases。

Answer 2

在表中添加主键约束或唯一键约束以避免重复数据插入。

还要在您的选择查询中使用 distinct 关键字来避免这种情况。

也可以使用 SQL 中的 group by 或 row_number() 函数消除重复行。

使用 DISTINCT 关键字

 INSERT INTO POInvoicing 
 (VendorID, InvoiceNo, InvoiceDate) 
 SELECT DISTINCT dbo.importTable.VendorID,
   dbo.importTable.InvoiceNo,
   dbo.importTable.InvoiceDate 
  FROM dbo.importTable
 WHERE NOT EXISTS (SELECT VendorID,
                     InvoiceNo
                FROM POInvoicing
               WHERE POInvoicing.VendorID = dbo.importTable.VendorID 
 AND
                     POInvoicing.InvoiceNo = dbo.importTable.InvoiceNo)

试试这个INNER JOIN

 INSERT INTO POInvoicing 
 (VendorID, InvoiceNo, InvoiceDate) 
 SELECT dbo.importTable.VendorID,
   dbo.importTable.InvoiceNo,
   dbo.importTable.InvoiceDate 
  FROM dbo.importTable IM
  INNER JOIN POInvoicing S ON S.POInvoicing.VendorID <> 
  dbo.importTable.VendorID 
 AND
                     S.POInvoicing.InvoiceNo <> dbo.importTable.InvoiceN