使用 map reduce 的 Mongodb 字数统计

Question

我在数单词时遇到问题 我想计算projects.log.subject 中的单词。 例如）计数 [A]、[B]、[C].. 我搜索了如何使用 map reduce.. 但我不明白如何将它用于我想要的结果。

{
"_id": ObjectID("569f3a3e9d2540764d8bde59"),
"A": "book",
"server": "us",
"projects": [
    {
        "domainArray": [
            {
                ~~~~
            }
        ],
        "log": [
            {
                ~~~~~,
                "subject": "[A][B]I WANT THIS"
            }
        ],
        "before": "234234234"
    },
    {
        "domainArray": [
            {
                ~~~~
            }
        ],
        "log": [
            {
                ~~~~~,
                "subject": "[B][C]I WANT THIS"
            }
        ],
        "before": "234234234"
    },....
] //end of projects
}//end of document

Answer 1

这是使用正则表达式并针对源字符串测试每个字符串并为结果发出找到的计数的基本原则。在 mapReduce 术语中，您希望您的“映射器”函数可能为每个“术语”作为键以及每个文档中存在的每个数组元素发出多个值。

所以你基本上想要一个正则表达式的源数组来处理（可能只是一个单词列表）来迭代和测试并迭代每个数组成员。

基本上是这样的：

db.collection.mapReduce(
    function() {
        var list = ["the", "quick", "brown" ];  // words you want to count

        this.projects.forEach(function(project) {
            project.log.forEach(function(log) {
                list.forEach(function(word) {
                    var res = log.subject.match(new RegExp("\\b" + word + "\\b","ig"));
                    if ( res != null )
                        emit(word,res.length);  // returns number of matches for word
                });
            });
        });
    },
    function(key,values) {
        return Array.sum(values);
    },
    { "out": { "inline": 1 } }
)

所以循环处理文档中的数组元素，然后用正则表达式应用每个单词来查找以进行测试。 .match() 方法将返回字符串中的匹配数组，如果找到了，则返回 null。请注意正则表达式的 i 和 g 选项，以便搜索不区分大小写的内容，并且仅搜索第一个匹配项。如果您的文本也包含换行符，您可能需要 m 进行多行。

如果没有返回null，那么我们将当前单词作为“键”，并将计数作为匹配数组的长度。

reducer 然后从映射器中的emit 调用中获取所有输出值，并简单地将发出的计数相加。

结果将是一个文档，该文档由提供的每个“单词/术语”以及集合中检查字段中的总出现次数计数。对于更多字段，只需添加更多逻辑来汇总结果，或者类似地在映射器中保持“发射”，让减速器完成工作。

注意"\\b" represents a word boundary expression to wrap each term escaped by`，以便从字符串构造表达式。您需要这些来区分 "the" 和 "then"，例如，通过指定单词/术语的结束位置。

另外，作为正则表达式，[] 这样的字符是保留的，所以如果你真的在寻找这样的字符串，你同样会转义，即：

"\[A\]"

但如果你真的这样做了，那么删除单词边界字符：

new RegExp( "\[A\]", "ig" )

因为这本身就足够了。