用mssql和node流式查询，第一次很慢

Question

我正在使用节点 js 10.16.0 和 node-mssql 模块连接到数据库。一切正常，我的简单查询工作正常。

如果我尝试使用 node-mssql example 从查询中流式传输数据，我第一次执行时会非常慢。它不会显示超时错误，但需要大约一分钟或更长时间才能完成。

根据控制台日志，它带来了前 55 行，然后停了一会儿。根据我下面的代码，当我划分它们时，看起来在数据“集”之间需要一些时间。如果我第二次或第三次执行相同的查询，只需一秒钟即可完成。总行数约为 25.000 或更多

如何让我的流查询更快，至少是第一次

这是我的代码

按照这个例子，想法是，开始流式传输，设置 1000 行，暂停流式传输，处理这些行，使用 websocket 将它们发回，清空所有数组，继续流式传输，直到完成

let skate= [];
let leather= [];
let waterproof = [];  
let stream_start = new Date();

const request = new sql.Request(pool);
request.stream = true;     
request
.input('id_param', sql.Int, parseInt(id))
.input('start_date_param', sql.VarChar(50), startDate)
.input('stop_date_param', sql.VarChar(50), stopDate)  
.query('SELECT skate, leather , waterproof FROM shoes WHERE id = @id_param AND CAST(startTime AS date) BETWEEN @start_date_param AND @stop_date_param ');

request.on('row', row => {     
  rowc++; console.log(rowc);
  rowsToProcess.push(row); 
  if (rowsToProcess.length >= 1000) {  
    request.pause();
    processRows();
  } 
});

const processRows = () => {
  rowsToProcess.forEach((item, index) => { 
    skate.push(item.skate);  
    leather.push(item.leather );  
    waterproof.push(item.waterproof);  
  });              
  measurementsData.push(
    {title: 'Skate shoes', data: skate}, 
    {title: 'Leather shoes', data: leather}, 
    {title: 'Waterproof shoes', data: waterproof}
  );  
  console.log('another processRows done');  
  //ws.send(JSON.stringify({ message: measurementsData }));
  rowsToProcess = [];
  skate= [];
  leather= [];
  waterproof = [];       
  measurementsData = [];
  request.resume();
}

request.on('done', () => {      
  console.log('rowc , ', rowc);
  console.log('stream start , ', stream_start);
  console.log('stream done , ', new Date());
  processRows(); 
});

Answer 1

我会尝试改进shoes 表的索引。据我所知，您的查询/索引可能存在 2 个问题：

• 您按日期时间startTime 列过滤，但只有id 列上有索引（根据 cmets）
• 您在查询的 where 子句中将 datetime 转换为日期

索引

由于您只过滤没有时间部分的日期，我建议您创建一个新列startDate，它是将startTime 转换为日期并在其上创建索引。然后在查询中使用这个索引列。

此外，由于您仅选择 skate、leather、waterproof 列，将它们包含在索引中可以提供更好的性能。阅读indexes with included columns。

如果您总是选择大于或早于某个日期的数据，那么您可以查看filtered indexes。

避免在 where 中强制转换

即使通常强制转换不会花费，但在 where 子句中使用它时，它可能会阻止 SQL Server 有效使用索引。所以你should avoid it。

如果您创建一个仅包含日期部分的新列并如上所述对其进行索引，则无需在此处使用强制转换：

WHERE id = @id_param AND startDate BETWEEN @start_date_param AND @stop_date_param

Answer 2

当一个查询第一次运行很慢但在随后的执行中运行很快时，正如之前有人建议的那样，这通常是由于缓存造成的。性能很可能与数据库正在运行的存储设备有关。

我希望解释计划在执行之间不会改变。

Answer 3

您应该删除 where 子句的强制转换或创建一个计算索引（如果可能在您的数据库中）

列中的操作总是可能会损害您的查询，请尽可能避免

试着设置你的 where 参数

@start_date_param 到日期 yyyy-mm-dd 00:00:00

@stop_date_param 到日期 yyyy-mm-dd 23:59:59

AND startTime BETWEEN @start_date_param AND @stop_date_param