将 csv 导入 SQL Server 的快速简单方法

Question

我们使用CSVReader 导入一个csv 文件，然后使用SqlBulkCopy 将该数据插入SQL Server。这段代码适用于我们并且非常简单，但想知道是否有更快的方法（我们的一些文件有 100000 行）也不会变得太复杂？

        SqlConnection conn = new SqlConnection(connectionString);
        conn.Open();
        SqlTransaction transaction = conn.BeginTransaction();
        try
        {
            using (TextReader reader = File.OpenText(sourceFileLocation))
            {
                CsvReader csv = new CsvReader(reader, true);
                SqlBulkCopy copy = new SqlBulkCopy(conn, SqlBulkCopyOptions.KeepIdentity, transaction);
                copy.DestinationTableName = reportType.ToString();
                copy.WriteToServer(csv);
                transaction.Commit();
            }
        }
        catch (Exception ex)
        {
            transaction.Rollback();
            success = false;
            SendFileImportErrorEmail(Path.GetFileName(sourceFileLocation), ex.Message);
        }
        finally
        {
            conn.Close();
        }

Answer 1

您应该考虑使用基于用户定义表类型 (UDTT) 的表值参数 (TVP)。此功能是在 SQL Server 2008 中引入的，允许您定义可用于将数据流式传输到 SQL Server 的强类型结构（如果操作正确）。与使用SqlBulkCopy 相比，这种方法的一个优点是您可以在表格中做的不仅仅是简单的INSERT；你可以做任何你想做的逻辑（验证/更新/等），因为数据以表变量的形式到达。如果需要先暂存任何数据，您可以在单个存储过程中处理所有导入逻辑，该存储过程可以轻松使用本地临时表。这使得隔离进程变得相当容易，这样您就可以同时运行多个实例，只要您有办法在逻辑上分离正在导入的行。

我在 S.O. 上发布了有关此主题的详细答案。不久前，包括示例代码和其他信息的链接：

How can I insert 10 million records in the shortest time possible?

甚至还有一个指向我的相关答案的链接，其中显示了该主题的另一个变体。我在某处有第三个答案，如果您有数百万行，则显示批处理方法，但您没有，但是一旦我发现我会在此处添加链接。

Answer 2

不要构建自己的工具来执行此操作，而是查看SQL Server Import and Export / SSIS。您可以直接以平面文件和 SQL Server 数据库为目标。输出dtsx 包也可以从命令行运行或通过 SQL Server 代理作为作业运行。

我之所以建议这样做是因为该向导针对并行性进行了优化，并且在大型平面文件上运行得非常好。