导出大量数据

Question

这是我的问题..

我们的网站中有两种类型的报告，以表格形式显示的数据和作为报告即时下载的数据。

这些报告可能包含几年的数据（1+ 百万行），我们一直允许客户下载某个日期范围内的数据，但我们已经开始限制他们查看数据的时间，以防止出现性能问题我们的网站。但是，即使在很小的日期范围内，数据仍然会变得相当大，因为它们正在扩展，如果它们下载太多，我们的内存会在几场演出中达到峰值并耗尽内存。

我的问题是，我宁愿不限制他们的数据，所以我试图找出一个好的解决方案，让他们想下载多少就下载多少。

我可以通过只返回每页数据来限制他们看到的内容，这样就不会出现性能问题，但下载始终是个问题。

我研究了异步，但未能成功地让它工作，因为它在我加载数据时会占用内存。

想法？想法？有什么建议吗？

代码示例：

// 获取数据 SqlConnection con = new SqlConnection(); SqlCommand cmd = 新的 SqlCommand(); SqlDataAdapter da; 数据集 ds = new DataSet(); con.ConnectionString = "我的连接字符串"; con.Open(); cmd.Connection = con; cmd.CommandType = CommandType.StoredProcedure; cmd.CommandText = "MyStoredProc"; da = 新的 SqlDataAdapter(cmd); da.填充（ds）； con.Close(); StringWriter sw = new StringWriter(); HtmlTextWriter htw = new HtmlTextWriter(sw); 数据网格 dg = 新数据网格（）； dg.DataSource = ds.Tables[0]; dg.DataBind(); dg.RenderControl(htw); Response.ClearContent(); Response.ContentType = "应用程序/vnd.ms-excel"; Response.AddHeader("Content-Disposition", "attachment;filename=Report.xls"); Response.Write(sw.ToString()); 响应。结束（）；

当我使用大约 800k 行的数据运行此程序时，我的内存会出现峰值，并且出现内存不足错误，并使事情变得更糟。它总是在 RenderControl 上运行，直到完成

Answer 1

我假设数据来自后端数据库。如果是这样，您不应该让用户等待此操作完成。这是一个糟糕的 UI 设计，尤其是当内存可以达到 4GB 时。

我同意其他建议，您应该考虑改进代码和设计，可能有助于减少占用空间。但无论如何，您应该为此制定计划的作业架构。

您让用户在搜索/文件上点击下载，并将其添加到数据库表中的队列中。有一个 db/.net 进程出现并处理这些作业，并在服务器上生成正确格式的文件。如果数据相同并且您使用正确的命名约定，则可以在多个用户之间重复使用该文件。然后，用户应该能够转到下载队列页面并查看他已安排的所有下载。完成后，他将能够下载文件。

如果你有一个不允许你这样做的要求，请发表评论解释它。

Answer 2

好的，我们开始：

• 不要使用表格
• 不要使用数据集

完成。

获取数据阅读器，随手编写 HTML - 您永远不会将所有数据保存在内存中。你的方法永远不会扩展。

Answer 3

能否重写存储过程以进行分页和循环遍历数据集？然后重写输出部分以流式传输文件，而不是一次性输出所有文件（您当前的方法基本上只是写出一个 HTML 表格）。

分页数据将使下载过程不会将所有数据存储在内存中

Answer 4

解决了！！！

当我在 Excel 中导出大量数据时，我也遇到了同样的问题。

解决方案：您可以使用 open XMl dll 来解决您的问题。 使用这个dll，你可以在excel中导出大量数据，内存消耗也会更少。

您可以从这里获得更多信息 https://msdn.microsoft.com/en-us/library/office/hh180830(v=office.14).aspx