C#、Sql Server 2008：将大型结果集流式传输到最终用户仅适用于某些数据库

Question

我有一个长时间运行的查询，它返回一个大型数据集。从 Web 服务调用此查询，并将结果转换为最终用户的 CSV 文件。以前的版本需要 10 多分钟才能运行，并且只有在查询完成后才会将结果返回给最终用户。

在大多数情况下，我将查询重写到它在一分钟左右运行的位置，并重写了它的访问方式，因此当结果从数据库服务器进入 asp.net Web 服务时，它们将被流式传输到客户端.我使用 SQL Server 的本地实例和远程实例对此进行了测试，没有问题。

现在，在生产部署的风口浪尖上，我们的生产 SQL 服务器机器似乎在查询完成执行之前不会将任何结果发送回 Web 服务。此外，我发现另一台与工作的远程服务器（克隆）相同的机器也不是流式传输结果。

SQL Server 2008 的版本在所有机器上都是相同的。生产机器安装的 Windows Server 版本略有不同（6.0 与 6.1）。生产服务器有 4 个内核和几倍于其他服务器的 RAM。其他服务器是具有 1GB 内存的单核服务器。

是否有任何设置会导致这种情况？或者是否有任何设置可以防止 SQL Server 缓冲结果？

虽然我知道这根本不会真正影响整体运行时，但它会极大地改变最终用户的看法。

tl;博士; 我需要在查询运行时将查询结果流式传输给最终用户。它适用于某些数据库机器，但不适用于其他数据库机器。所有机器都运行相同版本的 SQL Server。

我在 C# 中所做的事情的要点：

var reader = cmd.ExecuteReader();
Response.Write(getHeader());
while(reader.Read())
{
  Response.Write(getCSVForRow(reader));
  if(shouldFlush()) Response.Flush()
}

根据以下回复进行澄清

有 4 个数据库服务器，Local、Prod、QA1、QA2。它们都在运行 SQL Server 2008。它们都加载了相同的数据库（或多或少，在非产品上滞后 1 天）。

Web 服务托管在我的机器上（尽管我也测试过远程托管）。

测试之间的唯一变化是 web.config 中的连接字符串。

QA2 正在运行（流式传输），它是 QA1（VM）的克隆。 QA1 和 QA2 之间的唯一区别是在 QA2 上添加了一个与此查询完全无关的数据库。

QA1 不工作。

所有测试都在结果中包含最大大小的数据集（我们目前限制为 5k 行）。一旦第一次刷新发生，浏览器就会显示一个下载对话框。这是期望的结果。我们希望他们知道他们的下载正在处理中，即使下载速度很低并且有时会降至零（这就是数据库的方式）。

此时我的刷新代码很简单。我们刷新每 k 行，当前 k 设置为 20。

其中最令人困惑的部分是 QA1 和 QA2 的行为方式不同。我确实注意到我们的生产服务器设置为兼容模式 2005 (90)，其中 QA 和本地数据库都设置为 2008 (100)。我怀疑这很重要。当我通过 SSMS 执行存储过程时，我在所有机器上都有类似的行为。我立即看到结果。

是否有任何连接字符串设置可以禁用流式传输？

Answer 1

我所知道的一切都表明你正在做的事情应该有效； DataReader 和 Response.Write()/.Flush() 都以“流式传输”方式运行，一旦有行要获取，客户端就会一次获取一行数据。响应确实包含一个缓冲区，但您在每次读/写迭代后将缓冲区推送到客户端，从而最大限度地减少其使用。

我会检查 Web 服务是否配置为正确响应响应中的 Flush() 命令。确保生产环境不是Win2008 Server Core安装； Windows Server 2008 在某些服务器核心角色中不支持 Response.Flush()。我还会检查在 ShouldFlush() 中评估的条件是否会在您期望它们在生产环境中返回 true 时（您可能正在检查应用程序配置的值，或查看 IIS 设置；我不知道）。

在您的测试中，我会尝试更大的样本数据集；可能是生产环境暴露了测试环境中也存在的问题，但是使用较小的测试数据集和高速以太网骨干网，与返回数十万行相比，问题并不明显DSL。您可以通过在每次 Flush(250) 之后插入 Thread.Sleep() 调用来验证它是否以流方式工作；这会减慢服务的执行速度，并让您看到响应以每秒 4 行的速度馈送到您的客户端。

最后，确保您在生产环境中使用的客户端设置为以允许流式传输的方式显示 CSV 文件。这基本上意味着不应该将充当客户端的 Web 浏览器配置为将文件传递给第三方应用程序。 Web 浏览器可以轻松显示通过 HTTP 传递的文本流；这就是它的作用，真的。但是，如果它将流视为 CSV 文件，并且配置为将 CSV 文件交给 Excel 打开，则浏览器将在调用第三方应用程序之前缓存整个文件。

Answer 2

1. 将构建这个巨大的 CSV 文件的新任务放入任务表中。
2. 运行过程以处理此任务。
3. 使用 SqlDependency 等待结果出现在您的任务表中。
4. 将结果返回给客户端。