【问题标题】:NodeJS async large dataset callbackNodeJS 异步大数据集回调
【发布时间】:2016-11-25 20:45:29
【问题描述】:

我在 NodeJS 中处理庞大的数据集时遇到问题。我正在使用异步,因为我想在一切完成后调用res.send

原因:

在此项目的 MongoDB 集合中,可以添加活动。商店可以加入这些活动,并将该活动中的一些操作添加到议程中。 (如发布 Facebook 消息、照片到 Instagram) 在网站的前端,有一个页面显示所有活动的活动。当一个活动开始时,必须有一个包含所有加入这个活动的商店的列表。

因为每个商店都有一个议程,其中保存了要执行的任务,所以我必须遍历所有商店以查看是否有一个活动的活动 ID 等于打开的活动的 ID。 shop 集合中有超过 3500 个条目,因此处理每个商店可能需要一段时间,因此我决定在页面加载时使用 angular 发布该请求。

问题:

正如您在下面的代码中看到的那样,我获取了所有商店,并遍历了这些商品。然后我遍历议程项目以查看是否有匹配的活动 ID,然后在数组中添加一些我想要发回的信息。但代码在 1 个商店后停止。如何添加数组中的所有商店,并在处理完所有商店后全部发送?

店铺模特:

(并非所有字段)

var Shop = new Schema({
    name:String,
    email:String,
    phone: String,
    agenda:[{
        campaignId:Schema.ObjectId,
        taskId:Schema.ObjectId,
        campaignName: String,
        downloaded: Boolean,
        success: Boolean,
        startDate:Date,
        endDate:Date,
        description:String,
        kind:String
    }],
},{collection:'shop'});

控制器中的代码:

module.exports.getCampaignShop = function(req,res){
    console.log("getCampaignShop");
    var campaignId = req.query['campaignId'];
    console.log("campaignId", campaignId);
    var result = [];
    Shop.find().sort({name:1}).exec(function(err, shops){
        console.log("shop count", shops.length);
        async.eachSeries(shops, function(shop, allDone){
            async.eachSeries(shop.agenda, function(agenda, shopComplete){
                if(agenda.campaignId == campaignId){
                    var shopResult = {
                        shopId: shop._id,
                        nameSlug: shop.nameSlug,
                        logo: shop.logo,
                        name: shop.name
                    }
                    console.log("shopResult", shopResult);
                    result.push(shopResult);
                    shopComplete();
                }
            })
            allDone();
        }, function(err){
            if (err) throw err;
            console.log("result length", result.length);
            res.send(result);
        })

    })
}

【问题讨论】:

  • 您是否尝试编写仅返回 Shop 的请求,其中议程中的 >1 元素的 campaingnId 等于您想要的? MongoDB 可以为您节省大量时间

标签: angularjs node.js mongodb async.js


【解决方案1】:

问题是 shopComplete 回调仅在 agenda.campaignId == campaignId 为 True 时被调用。 你需要在if block之外调用它。

【讨论】:

  • 还建议 NVO 运行同步循环而不是 async.eachSeries(shop.agenda, function(agenda, shopComplete){,因为我不明白你为什么需要异步。
猜你喜欢
  • 2017-05-15
  • 2017-12-08
  • 2018-06-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-04-21
相关资源
最近更新 更多