来自 List<> 的 SqlBulkCopy

Question

如何从简单对象的 List 中使用 SqlBulkCopy 进行大插入？

我是否实现了我的自定义 IDataReader ？

Answer 1

只需从您的对象列表中调用create a DataTable 并调用SqlBulkCopy.WriteToServer，传递数据表。

您可能会发现以下有用：

• Adding columns to a DataTable。为您要编写的每个属性/字段添加一列。
• Adding rows to a DataTable。为列表中的每个对象添加一行。

为获得 SqlBulkCopy 的最佳性能，您应该设置一个适当的 BatchSize。 10,000 似乎效果很好 - 但可以为您的数据配置文件。

使用SqlBulkCopyOptions.TableLock 时，您可能还会观察到更好的结果。

可以在here 找到有关 SqlBulkCopy 性能的有趣且内容丰富的分析。

Answer 2

使用FastMember，您无需通过DataTable 就可以做到这一点（在我的测试中，性能提高了一倍以上）：

using(var bcp = new SqlBulkCopy(connection))
using(var reader = ObjectReader.Create(data, "Id", "Name", "Description"))
{
    bcp.DestinationTableName = "SomeTable";
    bcp.WriteToServer(reader);
}

请注意，ObjectReader 也可以与非通用源一起使用，并且没有必要提前指定成员名称（尽管您可能希望使用 SqlBulkCopy 的 ColumnMappings 方面，如果您不这样做' t 在 ObjectReader 本身中指定它们）。

Answer 3

根据您首先通过调用SqlBulkCopy 尝试完成的任务，使用表值参数 (TVP) 可能更有意义。使用 TVP 将使发送任何自定义类型的集合变得微不足道。数据可以流式传输，因此您可以避免DataTable（很像@Marc Gravell 的答案），您也可以避免SqlBulkCopy。 TVP 允许在数据到达 SQL Server 后如何处理数据的完全灵活性，因为您调用存储过程将 TVP 数据传递到其中，并且它显示为可以执行任何操作的表变量，而不仅仅是 INSERT（其中SqlBulkCopy 就是这种情况。您还可以通过SqlDataReader 取回数据，例如新创建的IDENTITY 值等数据。我在这个答案上添加了一个示例和一些附加说明：How can I insert 10 million records in the shortest time possible?。几年前，我写了一篇关于 SQL Server Central（需要免费注册）Streaming Data Into SQL Server 2008 From an Application 的文章，该链接的答案中也提到了该文章，提供了一个传入自定义类型的通用列表的工作示例，从300 万行文本文件。

Answer 4

迟到了，但如果你从 Microsoft 添加这个 EntityDataReader 类，有一个 AsDataReader() 扩展方法可以做到这一点：https://github.com/matthewschrager/Repository/blob/master/Repository.EntityFramework/EntityDataReader.cs

（示例[List].AsDataReader() 实现：）

var connStr = "";
using (var connection = new SqlConnection(connStr)) 
{
    var startTime = DateTime.Now;
    connection.Open();
    var transaction = connection.BeginTransaction();
    try
    {
        //var connStr = connection.ConnectionString;
        using (var sbCopy = new SqlBulkCopy(connection, SqlBulkCopyOptions.Default, transaction))
        {
            sbCopy.BulkCopyTimeout = 0;
            sbCopy.BatchSize = 10000;
            sbCopy.DestinationTableName = "Foobars";
            var reader = Foobars.AsDataReader();
            sbCopy.WriteToServer(reader);
        }
        transaction.Commit();
    }
    catch (Exception ex)
    {
        Console.WriteLine(ex.Message);
        transaction.Rollback();
    }
    finally
    {
        transaction.Dispose();
        connection.Close();
        var endTime = DateTime.Now;
        Console.WriteLine("Upload time elapsed: {0} seconds", (endTime - startTime).TotalSeconds);
    }
}