如何在 C# Web 应用程序中将超过 100 万行从 SQL Server 表导出到 CSV？

Question

我正在尝试将具有 100 万行和 45 列的 SQL Server 表导出到 .csv 文件，供用户通过 Web 界面下载，但它需要很长时间，以至于我最终不得不手动停止该过程。

我使用SqlDataReader 并在阅读器读取时写入文件以避免内存问题。该代码适用于小表（少于 3k 行），但大表继续运行，目标文件保持在 0 KB。

using (spContentConn) { using (var sdr = sqlcmd.ExecuteReader())
    using (CsvfileWriter)
    { 
        DataTable Tablecolumns = new DataTable();

        for (int i = 0; i < sdr.FieldCount; i++)
        {
            Tablecolumns.Columns.Add(sdr.GetName(i));
        }

        CsvfileWriter.WriteLine(string.Join("~", Tablecolumns.Columns.Cast<DataColumn>().Select(csvfile => csvfile.ColumnName)));

        while (sdr.Read())
            for (int j = Tablecolumns.Columns.Count; j > 0; j--)
            {
                if (j == 1)
                    CsvfileWriter.WriteLine("");
                else
                    CsvfileWriter.Write(sdr[Tablecolumns.Columns.Count - j].ToString() + "~");
            }
    }

我使用了此线程中推荐的相同答案，但仍然无效。请帮忙。 export large datatable data to .csv file in c# windows applications

Answer 1

从 .NET 文档中不清楚 FileWriter 是否具有高效缓冲，因此当我需要读取/写入大量数据时，我总是使用 BufferedStream。使用流，您将不得不写入字节数据而不是字符串，但这只需要对您的代码进行少量修改。

看起来您正在循环读取和写入 DataTable 的列，这会影响性能。由于在导出操作期间列的数量和顺序不会改变，因此请考虑使用位置索引来访问列值。最好一次写一行而不是一次写一列。

最后，您正在使用数据读取器，因此它应该提供来自 SQL Server 的最佳数据吞吐量（显然，受服务器和带宽的限制）。这也表明性能瓶颈在于将数据写入文件的方式。

作为比较，我只是在 60 秒内将 1,000,000 行 45 列写入文本文件。当然，我的代码不是从数据库中读取的，但这仍然应该为您提供足够好的基线。