将 SqlDataReader 结果导出到 C# 中的数组

Question

我编写了一个运行 SQL 查询的函数，并通过 ExcelDNA 将它暴露给 Excel。查询本身使用SqlDataAdapter 及其对应的.Fill() 方法来填充DataTable。

然后我遍历DataTable 的行和列以填充定义为的二维数组，

object[,] results = new object[dt.Rows.Count, dt.Columns.Count];

然后我可以直接将results 对象返回到 Excel，并且一切都正确呈现（字符串作为字符串，数字作为值）。

但是，我遇到了一个问题，即某些 SQL 查询在调用 .Fill() 方法时会引发“内存不足”异常。

我做了一些研究，结果发现SqlDataReader 可能更有效，因为我感兴趣的只是将数据检索到 Excel 中，它不会将结果集加载到内存中，而是将它们逐行读取行。

我的问题是SqlDataReader 没有.Fill() 方法。我确实有一些工作代码，可以在其中将 SQL 结果输出为 CSV 文件。然后我想我可以编写另一个函数将 CSV 导入 Excel。但这似乎很迂回。

有没有更直接的方法来实现这一点？

下面包含异常的完整堆栈跟踪。

System.Data.SQLite.SQLiteException (0x80004005): out of memory
out of memory
at System.Data.SQLite.SQLite3.Reset(SQLiteStatement stmt)
at System.Data.SQLite.SQLite3.Step(SQLiteStatement stmt)
at System.Data.SQLite.SQLiteDataReader.NextResult()
at System.Data.SQLite.SQLiteDataReader..ctor(SQLiteCommand cmd, CommandBehavior behave)
at System.Data.SQLite.SQLiteCommand.ExecuteReader(CommandBehavior behavior)
at System.Data.SQLite.SQLiteCommand.ExecuteDbDataReader(CommandBehavior behavior)
at System.Data.Common.DbCommand.System.Data.IDbCommand.ExecuteReader(CommandBehavior behavior)
at System.Data.Common.DbDataAdapter.FillInternal(DataSet dataset, DataTable[] datatables, Int32 startRecord, Int32 maxRecords, String srcTable, IDbCommand command, CommandBehavior behavior)
at System.Data.Common.DbDataAdapter.Fill(DataTable[] dataTables, Int32 startRecord, Int32 maxRecords, IDbCommand command, CommandBehavior behavior)
at System.Data.Common.DbDataAdapter.Fill(DataTable dataTable)
at UtilXL.Utils.UtilsSQLite.RunQueryCSLite(String SQLStatement, String FilePath, Boolean IncludeHeaders) in h:\Projects\UtilXL\UtilXL\Utils\UtilsSQLite.cs:line 37

上面引用的第 37 行是 sda.Fill() 调用。

这是运行SqlDataReader时的堆栈跟踪，

System.Data.SQLite.SQLiteException (0x80004005): out of memory out of memory
at System.Data.SQLite.SQLite3.Reset(SQLiteStatement stmt)
at System.Data.SQLite.SQLite3.Step(SQLiteStatement stmt)
at System.Data.SQLite.SQLiteDataReader.NextResult()
at System.Data.SQLite.SQLiteDataReader..ctor(SQLiteCommand cmd, CommandBehavior behave)
at System.Data.SQLite.SQLiteCommand.ExecuteReader(CommandBehavior behavior)
at System.Data.SQLite.SQLiteCommand.ExecuteReader()
at UtilXL.Utils.UtilsSQLite.RunQueryCSReader(String SQLStatement, String FilePath, Boolean IncludeHeaders) in h:\Projects\UtilXL\UtilXL\Utils\UtilsSQLite.cs:line 111

Answer 1

我没有使用 ExcelDNA 的经验，但是...

我认为您应该尝试了解为什么您会收到OutOfMemoryException。它经常发生在使用大对象（在您的情况下，可能是字符串）的 32 位应用程序中。

确实，使用SqlDataReader 一次处理一行将比将所有行加载到DataTable 中使用托管堆中的内存更少。但是您需要一次将一行加载到 Excel 中 - 例如来自声明为的数组：

object[,] results = new object[1, reader.FieldCount];

这可能比一次调用加载二维数组要慢。

Answer 2

这不是我认为的答案，否则我不知道如何格式化代码。假设您从 nuget 获得 IQToolkit，则从您的其他步骤中获取您的基本代码，您可以尝试这样的事情吗：

void Main()
{
  System.Data.SQLite.SQLiteConnection con = new System.Data.SQLite.SQLiteConnection( @"Data Source="+FilePath );
  SQLiteQueryProvider provider = new SQLiteQueryProvider(con, new ImplicitMapping(), QueryPolicy.Default);
    var data = provider.GetTable<MyTable>("MyTable")
    .Where(mt => mt.Level1 == "M_TO" && mt.AggCode == "C_DTA")
    .GroupBy(mt => new {mt.Date, mt.CompanyName})
    .Select(mt => new
     {
         Date = mt.Key.Date
         CompanyName = mt.Key.CompanyName,
         Sum = mt.Sum(t => t.Amount)
     }
    ).ToList();

//如果它成功到达这里，那么你的状态很好

  int numRows = data.Count() + (IncludeHeaders ?  1 : 0);
  object[,] ret = new object[numRows, 3];
  // ..
}

//// Entity Class
public class MyTable
{
    public string CompanyName { get; set; }
    public decimal Amount { get; set; }
    public DateTime? Date { get; set; } // varchar, really?
    public string AggCode { get; set; }
    public string Level1 { get; set; }
    //...
    public string Level5 { get; set; }
    // ...
    public string Level20 { get; set; }
}