在我的情况下如何提高 SQL 查询性能

Question

我有一个表，架构非常简单，一个 ID 列作为唯一主键（uniqueidentifier 类型）和其他一些 nvarchar 列。我目前的目标是，对于 5000 个输入，我需要计算表中已包含哪些输入，哪些未包含。输入是字符串，我有一个将字符串转换为唯一标识符（GUID）的 C# 函数。我的逻辑是，如果存在现有 ID，那么我将字符串视为已包含在表中。

我的问题是，如果我需要从 5000 个输入字符串中找出哪些已经包含在 DB 中，哪些没有，那么最有效的方法是什么？

顺便说一句：我当前的实现是，使用 C# 代码将字符串转换为 GUID，然后调用/实现一个存储过程，该存储过程查询数据库中是否存在 ID 并返回到 C# 代码。

我的工作环境：VSTS 2008 + SQL Server 2008 + C# 3.5。

Answer 1

尽量确保您最终只运行一个查询 - 即，如果您的解决方案包括对数据库运行 5000 次查询，那么这可能是该操作的最大资源消耗。

如果您可以将 5000 个 ID 插入到临时表中，则可以编写一个查询来查找数据库中不存在的 ID。

Answer 2

我的第一个直觉是将你的 5000 个输入泵入一个单列临时表 X，可能对其进行索引，然后使用：

SELECT X.thecol
FROM X
JOIN ExistingTable USING (thecol)

获取存在的那些，并且（如果需要两个集合）

SELECT X.thecol
FROM X
LEFT JOIN ExistingTable USING (thecol)
WHERE ExistingTable.thecol IS NULL

得到那些缺席的。至少值得进行基准测试。

编辑：根据要求，这里有一些关于 SQL Server 临时表的优秀文档和教程。 Bill Graziano 有一个简单的介绍，涵盖临时表、表变量和全局临时表。 Randy Dyess 和 SQL Master 讨论支持和反对他们的性能问题（但请记住，如果您遇到性能问题，您确实想要对替代品进行基准测试，不只是继续理论上的考虑！-)。

MSDN 上有关于 tempdb（保存临时表的地方）和 optimizing 其性能的文章。

Answer 3

您需要如何处理表中存在或不存在的条目？？

根据您的需要，也许 SQL Server 2008 中的新 MERGE 语句可以满足您的需求 - 更新已有的内容，插入新的内容，所有这些都整齐地包装到单个 SQL 语句中。看看吧！

• http://blogs.conchango.com/davidportas/archive/2007/11/14/SQL-Server-2008-MERGE.aspx
• http://www.sql-server-performance.com/articles/dba/SQL_Server_2008_MERGE_Statement_p1.aspx
• http://blogs.msdn.com/brunoterkaly/archive/2008/11/12/sql-server-2008-merge-capability.aspx

你的陈述应该是这样的：

MERGE INTO 
    (your target table) AS t
USING 
    (your source table, e.g. a temporary table) AS s
ON t.ID = s.ID
WHEN NOT MATCHED THEN  -- new rows does not exist in base table
  ....(do whatever you need to do)
WHEN MATCHED THEN      -- row exists in base table
  ... (do whatever else you need to do)
;

为了使这个速度非常快，我会从例如加载“新”记录。使用 BULK INSERT 将 TXT 或 CSV 文件放入 SQL Server 中的临时表中：

BULK INSERT YourTemporaryTable
FROM 'c:\temp\yourimportfile.csv'
WITH 
(
    FIELDTERMINATOR =',',
    ROWTERMINATOR =' |\n'
)

BULK INSERT 与 MERGE 相结合应该为您提供在这个星球上可以获得的最佳性能 :-)

马克

PS：这是来自 TechNet 的关于 MERGE 性能以及为什么它比单个语句更快的说明：

在 SQL Server 2008 中，您可以使用 MERGE 语句在单个语句中执行多个数据操作语言 (DML) 操作。例如，您可能需要根据在另一个表中发现的差异，通过在一个表中插入、更新或删除行来同步两个表。通常，这是通过执行包含单独的 INSERT、UPDATE 和 DELETE 语句的存储过程或批处理来完成的。 但是，这意味着源表和目标表中的数据都会被多次评估和处理；每个语句至少一次。 通过使用 MERGE 语句，您可以将单个 DML 语句替换为单个语句。这可以提高查询性能，因为操作是在单个语句中执行的，因此可以最大限度地减少源表和目标表中数据的处理次数。但是，性能提升取决于是否有正确的索引、连接和其他考虑因素。本主题提供最佳实践建议，帮助您在使用 MERGE 语句时获得最佳性能。

Answer 4

第 1 步。确保您有问题需要解决。在很多情况下，一次插入 5000 个插入并不多。

您确定最简单的方法还不够吗？到目前为止，您测量了哪些性能问题？

Answer 5

如果你想要简单，因为 5000 条记录不是很多，那么从 C# 中只需使用一个循环为你想要添加到表中的每个字符串生成一个插入语句。将插入包装在 TRY CATCH 块中。像这样一次性将它们全部发送到服务器：

BEGIN TRY
INSERT INTO table (theCol, field2, field3)
SELECT theGuid, value2, value3
END TRY BEGIN CATCH END CATCH

BEGIN TRY
INSERT INTO table (theCol, field2, field3)
SELECT theGuid, value2, value3
END TRY BEGIN CATCH END CATCH

BEGIN TRY
INSERT INTO table (theCol, field2, field3)
SELECT theGuid, value2, value3
END TRY BEGIN CATCH END CATCH

如果您在字符串 GUID 上定义了唯一索引或主键，则重复插入将失败。提前检查记录是否不存在只会重复 SQL 无论如何都要执行的工作。

如果性能真的很重要，那么考虑将 5000 GUIDS 下载到本地站点并在本地进行所有分析。读取 5000 个 GUIDS 应该花费不到 1 秒的时间。这比批量导入临时表（这是您从临时表获得性能的唯一方法）和使用临时表连接进行更新更简单。

Answer 6

绝对不要一个接一个。

我首选的解决方案是创建一个存储过程，其中包含一个可以采用的参数和以下格式的 XML：

<ROOT>
  <MyObject ID="60EAD98F-8A6C-4C22-AF75-000000000000">
  <MyObject ID="60EAD98F-8A6C-4C22-AF75-000000000001">
  ....
</ROOT>

然后在带有 NCHAR(MAX) 类型参数的过程中，将其转换为 XML，然后将其用作具有单列的表（我们称之为 @FilterTable）。存储过程如下所示：

CREATE PROCEDURE dbo.sp_MultipleParams(@FilterXML NVARCHAR(MAX))
AS BEGIN
    SET NOCOUNT ON

    DECLARE @x XML
    SELECT @x = CONVERT(XML, @FilterXML)

    -- temporary table (must have it, because cannot join on XML statement)
    DECLARE @FilterTable TABLE (
         "ID" UNIQUEIDENTIFIER
    )

    -- insert into temporary table
    -- @important: XML iS CaSe-SenSiTiv
    INSERT      @FilterTable
    SELECT      x.value('@ID', 'UNIQUEIDENTIFIER')
    FROM        @x.nodes('/ROOT/MyObject') AS R(x)

    SELECT      o.ID,
                SIGN(SUM(CASE WHEN t.ID IS NULL THEN 0 ELSE 1 END)) AS FoundInDB
    FROM        @FilterTable o
    LEFT JOIN   dbo.MyTable t
            ON  o.ID = t.ID
    GROUP BY    o.ID

END
GO

你运行它：

EXEC sp_MultipleParams '<ROOT><MyObject ID="60EAD98F-8A6C-4C22-AF75-000000000000"/><MyObject ID="60EAD98F-8A6C-4C22-AF75-000000000002"/></ROOT>'

您的结果如下所示：

ID                                   FoundInDB
------------------------------------ -----------
60EAD98F-8A6C-4C22-AF75-000000000000 1
60EAD98F-8A6C-4C22-AF75-000000000002 0

Answer 7

由于您使用的是 Sql server 2008，因此您可以使用表值参数。这是一种将表作为参数提供给存储过程的方法。

使用 ADO.NET，您可以轻松地预填充 DataTable 并将其作为 SqlParameter 传递。 您需要执行的步骤：

创建自定义 Sql 类型

CREATE TYPE MyType AS TABLE
(
UniqueId INT NOT NULL,
Column NVARCHAR(255) NOT NULL
) 

创建一个接受类型的存储过程

CREATE PROCEDURE spInsertMyType
@Data MyType READONLY
AS 
xxxx

使用 C# 调用

SqlCommand insertCommand = new SqlCommand(
   "spInsertMyType", connection);
 insertCommand.CommandType = CommandType.StoredProcedure;
 SqlParameter tvpParam = 
    insertCommand.Parameters.AddWithValue(
    "@Data", dataReader);
 tvpParam.SqlDbType = SqlDbType.Structured;

链接：Table-valued Parameters in Sql 2008