使用 mongoose 与 node.js 和 express 组合的 Model.find({}) 查询无法获取超过 200,000 多个文档的大量数据集

Question

我正在使用一个简单的 get 请求，使用 mongoose 加上 express 和 node 来获取我在 MongoDB 实例中定义的特定集合中的所有文档。它适用于少量数据，但不适用于大型数据集。我能够在 Mongo Shell 上运行相同的查询，并且在相当长的一段时间后，它能够返回数据。

我尝试修改查询以使用 lean() 函数以及 mongoose 的 find({}) 函数，但问题仍然存在。

/* 
    Fetch all the players
    GET - /
*/
getPlayerRouter.route('/')
    .get((req, res, next) => {

        Player.find({}).lean()
            .then((players) => {
                res.status(200).json({
                    success: true,
                    totalPlayers: players.length,
                    players
                });
            })
            .catch((err) => console.log(err));

    });

我希望查询能够获取集合中的所有文档。

Answer 1

var query=Player.find({}).stream();
query.on('data', (players)=> {
    res.status(200).json({
                      success: true,
                      totalPlayers: players.length,
                      players
                  });
 }).on('error',(err)=>{

 }).on('close',()=>{
    console.log('connection closed');
 });

你可以在mongoose中使用stream来处理大记录。评论是否有效。