将任何可转换的 utf8 char 音译成 ascii 等价物答案

【问题标题】：Transliterate any convertible utf8 char into ascii equivalent将任何可转换的 utf8 char 音译成 ascii 等价物
【发布时间】：2012-11-16 20:49:40
【问题描述】：

有什么好的解决方案可以很好地进行这种音译吗？

我尝试过使用iconv()，但它很烦人，而且它的行为不像人们预期的那样。

使用//TRANSLIT 将尝试替换它可以替换的内容，将所有不可转换的内容保留为“？”
使用//IGNORE不会离开“？”在文本中，但也不会音译，并且在找到不可转换的字符时也会引发E_NOTICE，因此您必须将 iconv 与@错误抑制器一起使用
使用//IGNORE//TRANSLIT（正如一些人在PHP 论坛中建议的那样）实际上与//IGNORE 相同（我自己在php 版本5.3.2 和5.3.13 上尝试过）
同样使用//TRANSLIT//IGNORE 与//TRANSLIT 相同

它还使用当前的语言环境设置来音译。

警告 - 后面有大量文字和代码！

这里有一些例子：

$text = 'Regular ascii text + čćžšđ + äöüß + éĕěėëȩ + æø€ + $ + ¶ + @';
echo '<br />original: ' . $text;
echo '<br />regular: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
//> regular: Regular ascii text + ????? + ???ss + ?????? + ae?EUR + $ + ? + @

setlocale(LC_ALL, 'en_GB');
echo '<br />en_GB: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
//> en_GB: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @

setlocale(LC_ALL, 'en_GB.UTF8'); // will this work?
echo '<br />en_GB.UTF8: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
//> en_GB.UTF8: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @

好吧，确实转换了 č ć š ä ö ü ß é ĕ ě ė ë ȩ 和 æ，但为什么不转换 đ 和 ø？

// now specific locales
setlocale(LC_ALL, 'hr_Hr'); // this should fix croatian đ, right?
echo '<br />hr_Hr: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
// wrong > hr_Hr: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @

setlocale(LC_ALL, 'sv_SE'); // so this will fix swedish ø?
echo '<br />sv_SE: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
// will not > sv_SE: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @

//this is interesting
setlocale(LC_ALL, 'de_DE');
echo '<br />de_DE: ' . iconv("UTF-8", "ASCII//TRANSLIT", $text);
//> de_DE: Regular ascii text + cczs? + aeoeuess + eeeeee + ae?EUR + $ + ? + @
// actually this is what any german would expect since ä ö ü really is same as ae oe ue

让我们试试//IGNORE:

echo '<br />ignore: ' . iconv("UTF-8", "ASCII//IGNORE", $text);
//> ignore: Regular ascii text + + + + + $ + + @
//+ E_NOTICE: "Notice: iconv(): Detected an illegal character in input string in /var/www/test.server.web/index.php on line 49"

// with translit?
echo '<br />ignore/translit: ' . iconv("UTF-8", "ASCII//IGNORE//TRANSLIT", $text);
//same as ignore only> ignore/translit: Regular ascii text + + + + + $ + + @
//+ E_NOTICE: "Notice: iconv(): Detected an illegal character in input string in /var/www/test.server.web/index.php on line 54"

// translit/ignore?
echo '<br />translit/ignore: ' . iconv("UTF-8", "ASCII//TRANSLIT//IGNORE", $text);
//same as translit only> translit/ignore: Regular ascii text + cczs? + aouss + eeeeee + ae?EUR + $ + ? + @

使用solution of this guy 也无法正常工作：Regular ascii text + YYYYY + aous + eYYYeY + aoY + $ + � + @

即使使用 PECL intl Normalizer 类（即使您的 PHP > 5.3.0 也不总是可用，因为 ICU 包 intl 使用可能对 PHP 不可用，即在某些托管服务器上）会产生错误的结果：

echo '<br />normalize: ' .preg_replace('/\p{Mn}/u', '', Normalizer::normalize($text, Normalizer::FORM_KD));
//>normalize: Regular ascii text + cczsđ + aouß + eeeeee + æø€ + $ + ¶ + @

那么有没有其他方法可以做到这一点，或者唯一正确的做法是做preg_replace() 或str_replace() 并自己定义音译表？

// 附录：我在 2008 年的 ZF wiki 辩论中发现了关于 proposal for Zend_Filter_Transliterate 的问题，但由于在某些语言中无法转换（即中文），因此项目被放弃，但对于任何基于拉丁语和西里尔语的语言 IMO 仍然应该存在此选项。

【问题讨论】：

为什么要将 utf8 转换为 ascii？ uft8 是有史以来最伟大的事情......
@OptimusCrime : 转化为url，转化为html的id属性值，匹配相似词
嗯，对于 url，您可以简单地使用正则表达式替换除空格、a-z、A-Z 和数字之外的所有内容。特殊字符对于这种用法不是一件好事。 html 属性也是如此。
@OptimusCrime čćžšđäöüøñæé.... 不是特殊字符，将它们转换为 ascii 然后简单地从 url 字符串中删除它们会有很大的不同
对于那些询问为什么 OP 需要这个的人 - 这是一个很好的例子 - 在音乐搜索网站中，您可能搜索“fur elise”并期望找到“Für Elise”（带有u 上的变音符号）。我们需要一种方法来翻译变音符号并将其转换为 u - 这是我们人类在搜索时输入的内容 - 我添加了一个包含所有字段 TRANSLIT 的关键字字段，以便用户可以对其进行搜索。

标签： php utf-8 ascii iconv transliteration

【解决方案1】：

Patchwork\Utf8 的 toAscii() 函数正是这样做的，参见：

https://github.com/nicolas-grekas/Patchwork-UTF8/blob/master/src/Patchwork/Utf8.php

它利用 iconv 和 intl 的 Normalizer 来删除重音、拆分连字和执行许多其他通用音译。

【讨论】：

做了一些初步测试，看起来还可以。干得好！
这个类怎么用？
@bornie 参见他的 github repo 上的文档github.com/nicolas-grekas/Patchwork-UTF8。恕我直言，这个库应该直接内置到 PHP 中，如果还没有的话！它拥有超过 270 万次安装的事实应该告诉你，大声哭泣。
链接断开。有人可以解决吗？
patchwork/utf8 已存档。 2021年有什么好的选择吗？对toAscii() 方法特别感兴趣。

【解决方案2】：

来自this website，我发现了一些可以帮助你的东西：

function removeAccents($str)
{
  $a = array('À', 'Á', 'Â', 'Ã', 'Ä', 'Å', 'Æ', 'Ç', 'È', 'É', 'Ê', 'Ë', 'Ì', 'Í', 'Î', 'Ï', 'Ð', 'Ñ', 'Ò', 'Ó', 'Ô', 'Õ', 'Ö', 'Ø', 'Ù', 'Ú', 'Û', 'Ü', 'Ý', 'ß', 'à', 'á', 'â', 'ã', 'ä', 'å', 'æ', 'ç', 'è', 'é', 'ê', 'ë', 'ì', 'í', 'î', 'ï', 'ñ', 'ò', 'ó', 'ô', 'õ', 'ö', 'ø', 'ù', 'ú', 'û', 'ü', 'ý', 'ÿ', 'Ā', 'ā', 'Ă', 'ă', 'Ą', 'ą', 'Ć', 'ć', 'Ĉ', 'ĉ', 'Ċ', 'ċ', 'Č', 'č', 'Ď', 'ď', 'Đ', 'đ', 'Ē', 'ē', 'Ĕ', 'ĕ', 'Ė', 'ė', 'Ę', 'ę', 'Ě', 'ě', 'Ĝ', 'ĝ', 'Ğ', 'ğ', 'Ġ', 'ġ', 'Ģ', 'ģ', 'Ĥ', 'ĥ', 'Ħ', 'ħ', 'Ĩ', 'ĩ', 'Ī', 'ī', 'Ĭ', 'ĭ', 'Į', 'į', 'İ', 'ı', 'Ĳ', 'ĳ', 'Ĵ', 'ĵ', 'Ķ', 'ķ', 'Ĺ', 'ĺ', 'Ļ', 'ļ', 'Ľ', 'ľ', 'Ŀ', 'ŀ', 'Ł', 'ł', 'Ń', 'ń', 'Ņ', 'ņ', 'Ň', 'ň', 'ŉ', 'Ō', 'ō', 'Ŏ', 'ŏ', 'Ő', 'ő', 'Œ', 'œ', 'Ŕ', 'ŕ', 'Ŗ', 'ŗ', 'Ř', 'ř', 'Ś', 'ś', 'Ŝ', 'ŝ', 'Ş', 'ş', 'Š', 'š', 'Ţ', 'ţ', 'Ť', 'ť', 'Ŧ', 'ŧ', 'Ũ', 'ũ', 'Ū', 'ū', 'Ŭ', 'ŭ', 'Ů', 'ů', 'Ű', 'ű', 'Ų', 'ų', 'Ŵ', 'ŵ', 'Ŷ', 'ŷ', 'Ÿ', 'Ź', 'ź', 'Ż', 'ż', 'Ž', 'ž', 'ſ', 'ƒ', 'Ơ', 'ơ', 'Ư', 'ư', 'Ǎ', 'ǎ', 'Ǐ', 'ǐ', 'Ǒ', 'ǒ', 'Ǔ', 'ǔ', 'Ǖ', 'ǖ', 'Ǘ', 'ǘ', 'Ǚ', 'ǚ', 'Ǜ', 'ǜ', 'Ǻ', 'ǻ', 'Ǽ', 'ǽ', 'Ǿ', 'ǿ');
  $b = array('A', 'A', 'A', 'A', 'A', 'A', 'AE', 'C', 'E', 'E', 'E', 'E', 'I', 'I', 'I', 'I', 'D', 'N', 'O', 'O', 'O', 'O', 'O', 'O', 'U', 'U', 'U', 'U', 'Y', 's', 'a', 'a', 'a', 'a', 'a', 'a', 'ae', 'c', 'e', 'e', 'e', 'e', 'i', 'i', 'i', 'i', 'n', 'o', 'o', 'o', 'o', 'o', 'o', 'u', 'u', 'u', 'u', 'y', 'y', 'A', 'a', 'A', 'a', 'A', 'a', 'C', 'c', 'C', 'c', 'C', 'c', 'C', 'c', 'D', 'd', 'D', 'd', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'G', 'g', 'G', 'g', 'G', 'g', 'G', 'g', 'H', 'h', 'H', 'h', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'IJ', 'ij', 'J', 'j', 'K', 'k', 'L', 'l', 'L', 'l', 'L', 'l', 'L', 'l', 'l', 'l', 'N', 'n', 'N', 'n', 'N', 'n', 'n', 'O', 'o', 'O', 'o', 'O', 'o', 'OE', 'oe', 'R', 'r', 'R', 'r', 'R', 'r', 'S', 's', 'S', 's', 'S', 's', 'S', 's', 'T', 't', 'T', 't', 'T', 't', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'W', 'w', 'Y', 'y', 'Y', 'Z', 'z', 'Z', 'z', 'Z', 'z', 's', 'f', 'O', 'o', 'U', 'u', 'A', 'a', 'I', 'i', 'O', 'o', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'A', 'a', 'AE', 'ae', 'O', 'o');
  return str_replace($a, $b, $str);
}

使用示例：

$text = 'Regular ascii text + čćžšđ + äöüß + éĕěėëȩ + æø€ + $ + ¶ + @';
echo removeAccents($text);

显示：

Regular ascii text + cczsd + aous + eeeeeȩ + aeo€ + $ + ¶ + @

你需要改进它，但你明白了......如果有直接的方法来做这样的工作，我不知道。

【讨论】：

是的，我已经建议将此解决方案作为“最后的解决方案”，但这不是我所希望的。 +1 尝试一下
这很完美！ iconv 的 TRANSLIT 缺少许多字符。
我想出了一个类似的解决方案，但使用 strtr 而不是 str_replace，这在某些情况下会稍微快一些，例如更长的字符串。

【解决方案3】：

我认为设置正确的语言环境是可行的方法。请注意，特定语言环境也必须在系统上可用，请使用locale -a 进行检查。如果你只有de_DE.utf8 - 你也必须使用 set_locale(de_DE.utf8)

【讨论】：

【解决方案4】：

由于上述解决方案都不适合我（我需要将许多欧洲字符集音译为 ASCII），我终于找到了这个似乎可以正常工作的旧 PECL 包 http://derickrethans.nl/projects.html#translit 。我遇到了特别是西里尔字符集的问题，这似乎可以完美地处理它们。

【讨论】：

如果您的回答不是针对上述最初的问题，请打开一个自己的问题。
@morkro 这不是一个问题，而是一个建议

【解决方案5】：

如果我对你的理解正确，我可能会为你提供答案：我编写了一个基本的 PHP 类，它允许你将大多数字符转换为它们的 ASCII 等价物。

下面是它的输出屏幕截图，它转换了各种作曲家的名字，名字中带有重音符号。

你可以在这里从 github 上 fork 它https://github.com/LukeMadhanga/transliterator。

注意：它尚未被记录在案，但应该很容易掌握。

【讨论】：

【解决方案6】：

我用 Golang 写了这个https://github.com/marekkowalczyk/sanitize；开箱即用，易于改进。

【讨论】：