在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

.net2.0中使用SqlBulkCopy进行大批量数据迁移DateTime startTime;
.net2.0中使用SqlBulkCopy进行大批量数据迁移    
protected void Button1_Click(object sender, EventArgs e)
    }

接着具体分析这几行代码:
.net2.0中使用SqlBulkCopy进行大批量数据迁移SqlBulkCopy DesBulkOp;
.net2.0中使用SqlBulkCopy进行大批量数据迁移DesBulkOp 
= new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);
先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。

.net2.0中使用SqlBulkCopy进行大批量数据迁移DesBulkOp.BulkCopyTimeout = 500000000;

指定操作完成的Timeout时间

.net2.0中使用SqlBulkCopy进行大批量数据迁移        DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);
.net2.0中使用SqlBulkCopy进行大批量数据迁移        DesBulkOp.NotifyAfter 
= dt.Rows.Count;
.net2.0中使用SqlBulkCopy进行大批量数据迁移        
try
NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,

我们还可以自己定义一个Transaction,例如:

.net2.0中使用SqlBulkCopy进行大批量数据迁移SqlTransaction Transaction;
.net2.0中使用SqlBulkCopy进行大批量数据迁移Transaction 
=
.net2.0中使用SqlBulkCopy进行大批量数据迁移SrcCom.Connection.BeginTransaction();
.net2.0中使用SqlBulkCopy进行大批量数据迁移SqlBulkCopy DesBulkOp;
.net2.0中使用SqlBulkCopy进行大批量数据迁移DesBulkOp 
= new SqlBulkCopy(new SqlConnection(DesConString),
.net2.0中使用SqlBulkCopy进行大批量数据迁移SqlBulkCopyOptions.Default,
.net2.0中使用SqlBulkCopy进行大批量数据迁移Transaction);
.net2.0中使用SqlBulkCopy进行大批量数据迁移
.net2.0中使用SqlBulkCopy进行大批量数据迁移
try
}

另外还有一个SqlBulkCopyColumnMapping类,可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时,可以用这个类进行映射:
.net2.0中使用SqlBulkCopy进行大批量数据迁移SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol""DesCol");
.net2.0中使用SqlBulkCopy进行大批量数据迁移DesBulkOp.ColumnMappings.Add(ColMap);

或者可以直接添加映射:
.net2.0中使用SqlBulkCopy进行大批量数据迁移DesBulkOp.ColumnMappings.Add("SrcCol""DesCol");

性能问题:
我使用上面的例子测试,迁移了2万条左右的记录,花的时间不到一秒,应改说性能还是不错的。另外,使用SQL Profile监视迁移事件,可以看见请求记录非常少,只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。

相关文章: