DataTable 需要永远从 SqlDataReader 加载数据答案

【问题标题】：DataTable Takes Forever to Load Data from SqlDataReaderDataTable 需要永远从 SqlDataReader 加载数据
【发布时间】：2019-02-08 22:29:51
【问题描述】：

我正在使用以下代码从 MS SQL Server 表中加载数据：

using (SqlDataReader rdr = cmd.ExecuteReader())
{
    if (rdr.HasRows)
    {
        dt.Load(rdr); //takes forever to load
    }
    if (dt.Rows.Count > 0 && !dt.HasErrors)
    {
        Parallel.For (0, dt.Rows.Count, i => 
        { 
            byte[] docBytes = (byte[])(dt.Rows[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{dt.Rows[i]["FileName"].ToString().ToLower()}"), docBytes); 
             });
        }
    }
}

SQL 查询在不到一秒的时间内执行。数据包含一个保存二进制文档数据的 SQL 图像列。我使用 System.Diagnostics 中的 Stopwatch 对执行进行计时，发现这条 dt.Load(rdr) 语句大约需要 5 分钟才能加载大约 5,000 条记录。我的应用程序需要加载数百万行，以这种速度，应用程序将无法使用。这是使用标准 Windows 窗体构建的 Windows 窗体应用程序。任何想法为什么 dt.Load(rdr) 需要永远？任何关于重写此代码或改进其性能的想法将不胜感激。

【问题讨论】：

标签： c# .net sql-server datatable sqldatareader

【解决方案1】：

尝试这样的事情，而不是将所有行加载到客户端的内存中：

using (SqlDataReader rdr = cmd.ExecuteReader(CommandBehavior.SequentialAccess))
{ 
    while (rdr.Read())
    {
        string fn = rdr.GetString(0);
        using (var rs = rdr.GetStream(1))
        {
            var fileName = $"c:\\temp\\{fn}.txt";
            using (var fs = File.OpenWrite(fileName))
            {
                rs.CopyTo(fs);
            }
            Console.WriteLine(fileName);

        }
    }                
}

【讨论】：

【解决方案2】：

以下代码未经测试。这只是一个想法。

另一种方法是定义实体类并使用SqldataReader 填充列表。并且根本不要使用DataTable。

还应尽快关闭数据库连接。因此，在获取时不要做其他工作。

希望您在连接字符串中使用connection pool

public class Example
{
public byte DocObject {get;set;}
public string FileName {get;set;}
}

List<Example> objList=new List<Example>();

using (SqlDataReader rdr = cmd.ExecuteReader())
{
while (rdr.Read())
{
      Example obj=new Example();

     obj.DocObject=(byte[])rdr["DocObject"] //suitable cast
     obj.FileName =rdr["FileName "].toSting() //suitable cast

       objList.Add(obj);
}
}

}

if (objList.Count > 0)
    {
        Parallel.For (0, objList.Count, i => 
        { 
            byte[] docBytes = (byte[])(objList[i]["DocObject"]);    File.WriteAllBytes(Path.Combine(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Documents\\"), $"{objList[i]["FileName"].ToString().ToLower()}"), docBytes); 
             });
        }
    }

【讨论】：