将混合编码的xml文件数据保存到mysql数据库中的utf-8答案

【问题标题】：save mixed encoded xml file data to utf-8 in mysql database将混合编码的xml文件数据保存到mysql数据库中的utf-8
【发布时间】：2011-05-06 15:21:08
【问题描述】：

我有一个混合编码的 xml 文件（虽然文件是 iso-8859-1 编码），但也包含来自 windows 1252 的字符（商标符号、endash 等）

我正在使用 PHP 和 xmlreader 来解析 xml 文件以保存在数据库中。 MySQL 5.0 服务器将混合编码字符保存为框字符，但 MySQL 5.1 给出错误。

所以问题是，正确保存 utf-8 数据的最简单和完整的证明方法是什么。

这是我目前将其转换为 utf-8 的代码，只是想知道它在转换时是否会产生问题？

 function cp1252_to_utf8($str) 
    {   
       $cp1252_map = array(
                "\xc2\x80" => "\xe2\x82\xac", /* EURO SIGN */
                "\xc2\x82" => "\xe2\x80\x9a", /* SINGLE LOW-9 QUOTATION MARK */
                "\xc2\x83" => "\xc6\x92",     /* LATIN SMALL LETTER F WITH HOOK */
                "\xc2\x84" => "\xe2\x80\x9e", /* DOUBLE LOW-9 QUOTATION MARK */
                "\xc2\x85" => "\xe2\x80\xa6", /* HORIZONTAL ELLIPSIS */
                "\xc2\x86" => "\xe2\x80\xa0", /* DAGGER */
                "\xc2\x87" => "\xe2\x80\xa1", /* DOUBLE DAGGER */
                "\xc2\x88" => "\xcb\x86",     /* MODIFIER LETTER CIRCUMFLEX ACCENT */
                "\xc2\x89" => "\xe2\x80\xb0", /* PER MILLE SIGN */
                "\xc2\x8a" => "\xc5\xa0",     /* LATIN CAPITAL LETTER S WITH CARON */
                "\xc2\x8b" => "\xe2\x80\xb9", /* SINGLE LEFT-POINTING ANGLE QUOTATION */
                "\xc2\x8c" => "\xc5\x92",     /* LATIN CAPITAL LIGATURE OE */
                "\xc2\x8e" => "\xc5\xbd",     /* LATIN CAPITAL LETTER Z WITH CARON */
                "\xc2\x91" => "\xe2\x80\x98", /* LEFT SINGLE QUOTATION MARK */
                "\xc2\x92" => "\xe2\x80\x99", /* RIGHT SINGLE QUOTATION MARK */
                "\xc2\x93" => "\xe2\x80\x9c", /* LEFT DOUBLE QUOTATION MARK */
                "\xc2\x94" => "\xe2\x80\x9d", /* RIGHT DOUBLE QUOTATION MARK */
                "\xc2\x95" => "\xe2\x80\xa2", /* BULLET */
                "\xc2\x96" => "\xe2\x80\x93", /* EN DASH */
                "\xc2\x97" => "\xe2\x80\x94", /* EM DASH */

                "\xc2\x98" => "\xcb\x9c",     /* SMALL TILDE */
                "\xc2\x99" => "\xe2\x84\xa2", /* TRADE MARK SIGN */
                "\xc2\x9a" => "\xc5\xa1",     /* LATIN SMALL LETTER S WITH CARON */
                "\xc2\x9b" => "\xe2\x80\xba", /* SINGLE RIGHT-POINTING ANGLE QUOTATION*/
                "\xc2\x9c" => "\xc5\x93",     /* LATIN SMALL LIGATURE OE */
                "\xc2\x9e" => "\xc5\xbe",     /* LATIN SMALL LETTER Z WITH CARON */
                "\xc2\x9f" => "\xc5\xb8"      /* LATIN CAPITAL LETTER Y WITH DIAERESIS*/
            );

            return  strtr(utf8_encode($str), $cp1252_map);
    }


    $sql='SET NAMES "utf8" COLLATE "utf8_swedish_ci"';
    mysql_query($sql);


    $arr_book["booktitle"] = cp1252_to_utf8( iconv("UTF-8", "ISO-8859-1//TRANSLIT", $arr_book["

booktitle"]));

【问题讨论】：

标签： mysql xml encoding utf-8 character-encoding

【解决方案1】：

如果您在同一列中混合了编码，则只有 1 个合理的选择：存储为二进制，而不是存储在特殊字符集中。如果文件在cp1252 中（它与ISO-8859-1 有很大一部分重叠，所以您可能只需声明cp1252 作为输入），只需在加载为XML 之前对其调用iconv 函数。 ($utf8string = iconv('cp1252','utf-8',$string);)

【讨论】：

是的，我已经更新了我的问题，你可以看到我正在使用的当前代码。如果字符串不包含混合编码，它不会从 windows 1252 转换，对吗？函数 cp1252_to_utf8 也将需要修改字符，未在数组 $cp1252_map 中列出
我没有简单的方法来验证您的自定义 cp1252_to_utf8 函数（如果 iconv 函数如此易于使用，为什么要重新发明它？），即使在 Linux 机器上，直接 @987654328 @ 应该可以工作，忘记他们声称它是 ISO-8859-1，显然不是，它们之间的唯一区别是 AFAIK 的 0x80 到 0x9F 范围。
好的，我会检查iconv('CP1252','UTF-8',$string);