【问题标题】:Use pipe to stream data from msssql to node使用管道将数据从 msssql 流式传输到节点
【发布时间】:2020-04-10 04:04:49
【问题描述】:

我正在使用节点和node-mssql 6.0.1,我使用流从数据库中获取大量数据并将其发送到前端。

我正在尝试按照docs 的建议使用管道和流,但我无法让它工作。

我的代码是

const pool = new sql.ConnectionPool(config);
const poolConnect = pool.connect();

const testStream = (ws , id) => {     
    poolConnect.then((pool) => {   
      const request = new sql.Request(pool);
      request.pipe(stream);

         request
        .input('id_param', sql.Int, parseInt(id)) 
        .query('SELECT * FROM dataTable WHERE id = @id_param ')  
 }) 

我收到stream is not defined

我的目标是像示例here 一样组合流和管道,然后使用 websockets 将数据发送到客户端。我什至不知道结合流和 websockets 是否有意义。我想不出任何组合或测试的方法

我当前只使用流的工作代码如下所示

const sql = require('mssql');
const pool = new sql.ConnectionPool(config);
const poolConnect = pool.connect();

const testStream = (ws , id) => {       
    poolConnect.then((pool) => {   
      const request = new sql.Request(pool);
      request.stream = true;   
      request
      .input('id_param', sql.Int, parseInt(id))
      .query('SELECT * FROM table WHERE id = @id_param ')  

      let rowsToProcess = [];
      let data = [];  

      request.on('row', row => {   
        rowsToProcess.push(row); 
        if (rowsToProcess.length >= 20) {  
          request.pause();
          processRows(false);
        } 
      });

      request.on('done', () => {      
        processRows(true); 
        sql.close(); 
      });

      const processRows = () => { 
          rowsToProcess.forEach((item)=>{ 
                data.push(item.name);   
                data.push(item.surname);   
                data.push(item.age);   
            });    
          ws.send(JSON.stringify({ success:true, message: data }));
          rowsToProcess = [];
          data = []; 
      }//processRows 

    }) //poolConnect.then  

我在这里缺少什么?请帮助我开始使用管道和流,我在 Google 中找不到管道/流示例

谢谢

【问题讨论】:

  • 是的,好吧,stream 没有定义。您要将数据流式传输到吗?
  • @JonasWilms 是的,我发布得太早了。请检查已编辑的问题
  • 如果您在发送之前缓冲所有数据,那么使用流没有多大意义。

标签: javascript node.js ecmascript-6 stream pipe


【解决方案1】:

简单的可写流

const { Writable } = require('stream');

const stream = new Writable({
  write(chunk, encoding, callback) {
    console.log(chunk.toString());
    callback();    
  }
})

【讨论】:

  • 这是很好的第一步。感谢您的代码,但请检查详细的编辑答案
  • 刚刚开始https://nodejs.org/dist/latest-v13.x/docs/api/stream.html
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2018-12-16
  • 2014-07-11
  • 2020-11-12
  • 2012-02-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多