Mongodb Mapreduce 连接数组

Question

我收藏了大量歌曲，并希望以数组形式收集每周播放次数最多的歌曲。例如：

{
    "_id" : {
        "title" : "demons savaites hitas",
        "name" : "imagine dragons"
    },
    "value" : {
        "weeks" : [ 
            {
                "played" : 56,
                "week" : 9,
                "year" : 2014
            }
        ]
    }
}

有时会变成：

{
    "_id" : {
        "title" : "",
        "name" : "top 15"
    },
    "value" : {
        "played" : 1,
        "week" : 8,
        "year" : 2014
    }
}

我从中获取数据的集合被命名为歌曲，并且在添加歌曲时会一直添加新字段。没有唯一的艺术家姓名或歌名，集合中的每个文档都如下所示：

{
    "_id" : ObjectId("530536e3d4ca1a783342f1c8"),
    "week" : 8,
    "artistname" : "City Shakerz",
    "songtitle" : "Love Somebody (Summer 2012 Mix Edit)",
    "year" : 2014,
    "date" : ISODate("2014-02-19T22:57:39.926Z")
}

我现在想做一个 mapreduce，将新的一周添加到数组中。它现在覆盖它。 我还注意到，当尝试使用新的 mapreduce 更改为数组时，并不是所有播放的都被计算在内。

新的 mapreduce 几周后无法正常工作：

map = function () {
if (this.week == 9 && this.year == 2014) emit({title:this.songtitle.toLowerCase(), name:this.artistname.toLowerCase()}, {played:1, week:this.week, year:this.year});
}
reduce = function(k, values) {

var result = {};
result.weeks = new Array();
var object = {played:0, week: 0, year: 0};
values.forEach(function(value) {
    object.played += value.played;
    object.week = value.week;
    object.year = value.year;
});
result.weeks.push(object);
return result;
}
db.songs.mapReduce(map,reduce,{out: {reduce:"played2"}})

这是我使用的旧的，是每周和歌曲集合中的一个新字段：

map = function () {
if (this.week == 10 && this.year == 2014) emit({title:this.songtitle.toLowerCase(), name:this.artistname.toLowerCase(), week:this.week, year:this.year}, {count:1});
}
reduce = function(k, values) {
var result = {count: 0,};
values.forEach(function(value) {
result.count += value.count;
});
return result;
}
db.songs.mapReduce(map,reduce,{out: {merge:"played"}})

我现在从 play2 那里得到来自 toplist 的信息，如下所示：

db.played2.find({'_id.week': 9,'_id.year': 2014}).sort(array("value.count" => -1)).limit(50)

上面的行可以包含任何错字，因为我使用 mongoclient for php 并且需要为您将其更改为 javascript 语法。

我做错了什么？

Answer 1

我发现我可以像上面的代码 sn-p 那样执行 mapreduce，然后只在查询中获取本周，在前一周获取另一个，然后使用 if 执行简单的 double 以在本周与前一周的位置进行更新。

我在 python 中编写了脚本，我也将它作为我的 mapreduce 作为 cronjob 运行。例如：

if len(sys.argv) > 1 and sys.argv[1] is not None:
    week = int(sys.argv[1])
else:
    week = (datetime.date.today().isocalendar()[1]) - 1

year = datetime.date.today().year

previous_week = week - 1

client = MongoClient()
db = client.db
played = db.played

print "Updating it for week: " + str(week)

previous = played.find({"_id.week": previous_week, "_id.year": year}).sort("value.count", -1).limit(50)
thisweek = played.find({"_id.week": week, "_id.year": year}).sort("value.count", -1).limit(50)

thisplace = 1
for f in thisweek:
    previous.rewind()  # Reset second_collection_records's iterator
    place = 1

    if previous.count() > 0:
        checker = bool(1)
        for s in previous:
             if s["_id"]["name"] == f["_id"]["name"] and s["_id"]["title"] == f["_id"]["title"]:
                result = played.update({"_id.week": f["_id"]["week"], "_id.year": f["_id"]["year"], "_id.title": f["_id"]["title"], "_id.name": f["_id"]["name"]}, {"$set": {"place.previous_week":place, "place.this_week":thisplace}})
                checker = bool(0)
                print result
             place = place + 1
        if checker is True:
            result = played.update({"_id.week": f["_id"]["week"], "_id.year": f["_id"]["year"], "_id.title": f["_id"]["title"], "_id.name": f["_id"]["name"]}, {"$set": {"place.previous_week":0, "place.this_week":thisplace}})
            print result
    else:
        result = played.update({"_id.week": f["_id"]["week"], "_id.year": f["_id"]["year"], "_id.title": f["_id"]["title"], "_id.name": f["_id"]["name"]}, {"$set": {"place.previous_week":0, "place.this_week":thisplace}})
        print result
    thisplace = thisplace + 1

print "done."

这似乎工作得很好。希望 mongodb 增加对仅更新字段或 mapreduce 中的任何内容的支持，以便将信息添加到文档而不覆盖它。

Answer 2

我正在根据您的输入字段对您的集合结构进行测试，但我认为 mapReduce 不是您想要的工具。使用aggregate 可以实现您明显期望的输出：

db.collection.aggregate([
    // Match a specific week and year if you want - remove if you want all
    { "$match": { "year": inputYear, "week": inputWeek } }, 

    // Group to get the total number of times played
    { "$group": {
        "_id": {
            "title": { "$toLower": "$songtitle" },
            "name": { "$toLower": "$artistname" },
            "week": "$week",
            "year": "$year"
        },
        played: { "$sum": 1 }
    }},

    // Sort the results by the most played in the range
    { "$sort": { "year": -1, "week": -1, "played": -1 } },

    // Optionally limit to the top 15 results
    { "$limit": 15 }

])

这基本上就是您似乎正在尝试做的事情。所以这将“出场次数”总结为播放次数。然后我们采取额外的步骤对结果进行排序，并且可选地（如果您可以忍受一次查找一周）将结果限制为一个设定的数字。最后两个步骤是 mapReduce 无法完成的。

如果您最终要寻找每周的“前十名”，作为单个查询结果，那么您可以look at this 进行讨论（以及实现方法），我们称之为“topN”结果问题。