处理 mongodb 中的重音字符答案

【问题标题】：Deal with accented character in mongodb处理 mongodb 中的重音字符
【发布时间】：2015-05-01 18:51:07
【问题描述】：

我一直在努力寻找一种处理重音字符的理想方法。

首先，我在 mongo 中插入（获取）之前使用这两种方法对文本进行编码（解码）。

function encode_utf8(s) {
  return unescape(encodeURIComponent(s));
}

function decode_utf8(s) {
  return decodeURIComponent(unescape(s));
}

当我从 mongodb 获取 cmets 并显示它们（ajax 请求）时，此方法工作正常：

$.ajax({
    url : "http:www.mywebsite.com/comments",
    type : "get",
    data : "key=" + env.key + "&login=" + login,
    dataType : "json",
    success: function(response) { console.log(decode_utf8(reponse.texte)); /* yay works fine */ },
    error : function(jqXHR, textStatus, errorThrown) {}
});

但是当我使用下面的代码（MapReduce 的映射函数）时，它不能处理重音：

String map = "function map() { "
                 + "var texte = decodeURIComponent(unescape(this.comment));"
                 + "var words = texte.match(/\\w+/g);" 

                 + "if(words) "
                 +     for(var i=0; i<words.length; i++) 
                 +         emit(words[i].toLowerCase(), 1);" 
             + "}"

例如：结果是dzedzed，而不是ùùdzedzed。任何建议或解决方法都会很棒。

编辑：

我的 mongo 内容：

{“_id”：ObjectId（“55460441e4b00700737c56cc”），“id”：“c0ab4be5-f4f3-4c73-a7a0-f6863b6ce6511430651969105”，“auteur_login”：“testlogin”，“auteur_id”：1，“评论”： Ãªtre oÃ¹ rÃ¨glem Ã§a", "date" : "Sun May 03 13:19:29 CEST 2015" }

{“_id”：ObjectId（“554612f1e4b0953aca0c0be0”），“id”：“aaa52859-5de6-469b-a17f-aa4615db77f71430655729171”，“auteur_login”：“testlogin”，“auteur_id”：1，“评论”：“ à la", "date" : "Sun May 03 14:22:09 CEST 2015" }

{“_id”：ObjectId（“55461c21e4b0643ea96f7933”），“id”：“ba3ae7c0-39a6-4c77-86ec-d193e39759b71430658081921”，“auteur_login”：“testlogin”，“auteur_id”：1，“评论”：瞧”，“日期”：“2015 年 5 月 3 日星期日 15:01:21 CEST”}

{“_id”：ObjectId（“5547f5ede4b055c2ffb1a592”），“id”：“a9a1e7d4-c28d-4f9e-98d5-3fe7fba3bb5e1430779373121”，“auteur_login”：“testlogin”，“auteur_id”：1，“评论”： vb vb vb", "date" : "Tue May 05 00:42:53 CEST 2015" }

{“_id”：ObjectId（“5547f5fbe4b055c2ffb1a593”），“id”：“b5ad2b7e-987f-4d32-b5ca-bc06bdc57f611430779387478”，“auteur_login”：“testlogin”，“auteur_id”：1，“评论”：“ vb vb", "date" : "Tue May 05 00:43:07 CEST 2015" }

{“_id”：ObjectId（“5548b88ee4b029bc67d7a638”），“id”：“451e4e0d-c15a-4657-82c3-7760555b6c811430829198040”，“auteur_login”：“testlogin”，“auteur_id”：1，“comment” ecrit n'importe quoi", "date" : "Tue May 05 14:33:18 CEST 2015" }

{“_id”：ObjectId（“554b9409e4b004c1b252f9cb”），“id”：“f36c3b49-72b1-48f4-ae92-a7933bc1e2761431016457515”，“auteur_login”：“moi12345”，“auteur_id”：9， salut", "date" : "Thu May 07 18:34:17 CEST 2015" }

{“_id”：ObjectId（“554b941be4b004c1b252f9cd”），“id”：“1adc6788-32be-4c3a-bd73-16dad0b4bb741431016475777”，“auteur_login”：“moi12345”，“auteur_id”：9，“评论” regregerhg", "date" : "Thu May 07 18:34:35 CEST 2015" }

结果如下：

“sfsdfs”：58.0 更新

“ta”：58.0 更新

“test1”：58.0 更新

“teste”：9.666666666666666 更新

“吨”：58.0 更新

“tre”：29.0 插入

“尝试”：58.0 更新

“学生”：58.0插入

“花呢”：58.0 更新

“une”：58.0 更新

“va”：19.333333333333332 更新

“vb”：29.0 更新

“veux”：19.333333333333332 更新

“万象”：58.0 更新

“voil”：58.0 插入

示例：最后一行我应该得到voilà而不是voil

【问题讨论】：

您想通过编码和解码解决什么问题？
通过编码/解码，我试图正确处理重音字符。当我插入ùdzedzed 时，我得到了这个ã¹dzedzed
您不需要在地图功能中执行类似的操作。 MongoDB 使用 UTF-8 并且可以很好地存储重音字符。显示示例数据和完整 map-reduce 的更完整示例会有所帮助。
@JohnnyHK 我编辑了我的问题。
你能用实际的文字替换你的图片吗？这样一来，人们就可以复制文档并在本地重现问题。

标签： mongodb rest tomcat mapreduce non-ascii-characters

【解决方案1】：

因此，本质上，您的“encode_utf8”方法以一种奇怪的方式将 UTF-8 字符串转换为 8 位字节。你为什么要这么做？

（[de/en]codeURIComponent() 使用 UTF-8 编码，[un]encode 使用 ISO-8859-1）

为了对称，你的“decode_utf8(s)”应该是

return decodeURIComponent(escape(s));

而不是“逃逸”。

请注意，不推荐使用 escape() 和 unescape() Javascript 方法

https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/escape

https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/unescape

【讨论】：

感谢您的回复，正如我提到的，我没有找到解决方法或替代它的东西。