.net 中长时间运行的数据库操作

Question

我有一个分隔文件，用于通过 .net 应用程序在 sql server 表中插入/更新记录。 该文件有大约 80000 条记录，每天都会处理。 我的问题：在我旋转 80000 行中的每一行时保持与数据库的连接打开是否安全甚至明智，或者我应该关闭连接并在每次循环迭代时重新打开？这本身听起来很麻烦。 但是，我担心长时间保持打开的连接、持有锁和不必要地占用内存。 什么是更可扩展、更安全和更明智的方法？

Answer 1

首先，不，您不应该每行都打开/关闭连接。对于 80,000 行，这将花费很长时间，并且只会增加开销。您可以考虑对行进行批处理（例如每 10-500 行重置连接）。幸运的是，有一个更好的选择：

其次，从 .Net 应用程序向数据库中插入/更新这么多行的正确方法是使用 SQLBulkCopy methods，而不是使用 INSERT 或 UPDATE 命令。您应该使用 SQLBulkCopy 将数据行加载到保存/暂存表中，然后使用 SQL 存储过程对实际表进行插入/更新，整批。

如果您担心 SQLBulkCopy 的持续负载，它内置了批处理选项。

使用这种技术，数据的初始上传速度应该至少快 5 倍，而实际的表格插入/更新应该只是几秒钟的事情。

Answer 2

我曾经需要导入数据。但我必须在上面运行一些迷你业务规则。 另外，我的要求是导入尽可能多的行，但如果有任何失败，请记录它（但不要让整个导入失败）。

我在下面写了示例。

http://granadacoder.wordpress.com/2009/01/27/bulk-insert-example-using-an-idatareader-to-strong-dataset-to-sql-server-xml/

我将 N 条记录（例如 N = 1000）作为 ~xml 传递给存储过程。

N 应该是可配置的，以找到“最佳位置”。但是一次一个太慢了，一次80,000似乎很多。 1,000（行）x 80“运行”....是一个很好的起点，恕我直言。

因此，如果您的导入是“哑”的，那么之前建议的“SQLBulkCopy”可能是最好的方法。 但是，如果您有任何检查或验证，那么我的示例可能是一个不错的建议。

.......

另一种选择：

http://msdn.microsoft.com/en-us/library/ms162802.aspx bcp.exe

但这并不是真正的“点网代码”。