如何根据数据库中的现有条目快速减少数据表

Question

我目前正在尝试将数据表批量插入到数据库中。它工作得很好而且很快。唯一的问题出现 如果数据库中已有任何行（重复键）。

为了解决这个问题，我修改了我的程序，以便我首先检查每个新条目是否已经存在于数据库中。 这是.......慢（在目前的情况下，我没有很多条目，但后来我需要检查超过 200k 的条目，并且需要检查几次）。 因此，我需要像现在一样让它更快（如果可能的话）。

数据表的结构是这样的：

DataTable transactionTable.Columns.Add("DeviceId", typeof(Int32));
transactionTable.Columns.Add("LogDate", typeof(DateTime));
transactionTable.Columns.Add("LogType", typeof(Int32));
transactionTable.Columns.Add("LogText", typeof(String));

transactionTable.PrimaryKey = new DataColumn[3] {
    transactionTable.Columns[0],
    transactionTable.Columns[1],
    transactionTable.Columns[2]
};

到目前为止，我有以下内容：

DataTable insertTable = transactionTable.Copy();
insertTable.Clear();
using (SqlConnection sqlcon = new SqlConnection(this.GetConnString()))
{
    sqlcon.Open();
    foreach (var entry in transactionTable.AsEnumerable())
    {
        using (SqlCommand sqlCom = sqlCon.CreateCommand())
        {
            sqlCom.Parameters.Clear();
            sqlCom.CommandText = "SELECT 1 FROM myTable WHERE"
                    + " DeviceId = @DeviceId AND LogDate = @LogDate"
                    + " AND LogType = @LogType"
            sqlCom.Parameters.AddWithValue("@DeviceId", entry.Field<Int32>("DeviceId"));
            sqlCom.Parameters.AddWithValue("@LogDate", entry.Field<DateTime>("LogDate"));
            sqlCom.Parameters.AddWithValue("@LogType", entry.Field<Int32>("LogType"));

            using (SqlDataREader myRead = sqlCon.ExecuteReader()
            {
                myRead.Read();

                if (myRead.HasRows == false)
                {
                    insertTable.Rows.Add(entry.ItemArray);
                }
            }

        }
    }
}

// And afterwards the bulkinsert which I think is out of scope for the question itself 
// (I use the insertTable there)

现在我的问题是：有什么方法可以更快地做到这一点，以免出现密钥违规问题？

Answer 1

在这种情况下，我会使用一些临时表。以下是一些步骤：

1. 批量插入临时表（使用SqlBulkCopy）
2. 使用带有左连接的存储过程插入基表以消除现有行
3. 截断临时表

因此，您需要删除代码中的 foreach 语句，添加用于插入基表的存储过程，添加用于截断的存储过程。或者您可以将最后两个步骤合二为一。

Answer 2

我有类似的设置。

我正在使用带有Table-Valued 参数和MERGE 语句的存储过程。另请参阅Table-Valued Parameters，例如如何在 .NET 中使用它们。

我会将问题的焦点从简单的批量插入转移到将一批行合并到包含现有数据的表中。

目标表

CREATE TABLE [dbo].[MyTable](
    [DeviceId] [int] NOT NULL,
    [LogDate] [datetime] NOT NULL,
    [LogType] [int] NOT NULL,
    [LogText] [nvarchar](50) NOT NULL,
CONSTRAINT [PK_MyTable] PRIMARY KEY CLUSTERED 
(
    [DeviceId] ASC,
    [LogDate] ASC,
    [LogType] ASC
))

创建用户定义的表类型

CREATE TYPE [dbo].[MyTableType] AS TABLE(
    [DeviceId] [int] NOT NULL,
    [LogDate] [datetime] NOT NULL,
    [LogType] [int] NOT NULL,
    [LogText] [nvarchar](50) NOT NULL,
    PRIMARY KEY CLUSTERED 
(
    [DeviceId] ASC,
    [LogDate] ASC,
    [LogType] ASC
))

测试并衡量为TYPE 指定PRIMARY KEY 是否会使整个过程更快或更慢。

带有 TVP 的存储过程

CREATE PROCEDURE [dbo].[MergeMyTable]
    @ParamRows dbo.MyTableType READONLY
AS
BEGIN
    -- SET NOCOUNT ON added to prevent extra result sets from
    -- interfering with SELECT statements.
    SET NOCOUNT ON;

    BEGIN TRANSACTION;
    BEGIN TRY

        MERGE INTO dbo.MyTable as Dest
        USING
        (
            SELECT
                TT.[DeviceId],
                TT.[LogDate],
                TT.[LogType],
                TT.[LogText]
            FROM
                @ParamRows AS TT
        ) AS Src
        ON 
            (Dest.[DeviceId] = Src.[DeviceId]) AND
            (Dest.[LogDate]  = Src.[LogDate]) AND
            (Dest.[LogType]  = Src.[LogType])
        WHEN MATCHED THEN 
        UPDATE SET 
            Dest.[LogText] = Src.[LogText]
        WHEN NOT MATCHED BY TARGET THEN 
        INSERT
            ([DeviceId]
            ,[LogDate]
            ,[LogType]
            ,[LogText])
        VALUES
            (Src.[DeviceId],
            Src.[LogDate],
            Src.[LogType],
            Src.[LogText]);

        COMMIT TRANSACTION;
    END TRY
    BEGIN CATCH
        ROLLBACK TRANSACTION;
    END CATCH;

END

调用这个存储过程，传递给它一批要合并的行。测试和测量性能如何随批次大小而变化。尝试 1K、10K、100K 行的批处理。

如果您不想用新值更新现有行，请删除MERGE 的WHEN MATCHED THEN 部分，它会更快。

Answer 3

您可以在IGNORE_DUP_KEY 设置为ON 的情况下删除并重新创建索引。像这样的：

ALTER TABLE datatable
ADD CONSTRAINT PK_datatable 
PRIMARY KEY CLUSTERED (DeviceId,LogDate,LogType,LogText) 
WITH (IGNORE_DUP_KEY = ON)

此选项的作用是在尝试对索引进行任何重复插入时报告具有不同严重性和消息的重复键错误。它不允许输入重复项，但会继续插入所有不重复的记录，并且仅在发现并忽略重复项时发出警告消息。

更多信息请访问此链接：Creating Unique Indexes。