如何在 java 中将“i”与土耳其语 i 匹配？

Question

我想将英语 (i) 的小写“I”与土耳其语 (i) 的小写“İ”匹配。它们是相同的字形，但它们不匹配。当我做System.out.println("İ".toLowerCase()); 时，字符 i 和一个点被打印出来（这个网站不能正确显示）

有没有办法匹配这些？（最好不用硬编码）我想让程序匹配与语言和 utf 代码无关的相同字形。这可能吗？

我已经测试了标准化，但没有成功。

public static void main(String... a) {
    String iTurkish = "\u0130";//"İ";
    String iEnglish = "I";
    prin(iTurkish);
    prin(iEnglish);
}

private static void prin(String s) {
    System.out.print(s);
    System.out.print(" -  Normalized : " + Normalizer.normalize(s, Normalizer.Form.NFD));
    System.out.print(" - lower case: " + s.toLowerCase());
    System.out.print(" -  Lower case Normalized : " + Normalizer.normalize(s.toLowerCase(), Normalizer.Form.NFD));
    System.out.println();

}

结果未正确显示在站点中，但第一行（iTurkish）在小写 i 附近仍然有 ̇。

目的和问题

这将是一本多语种词典。我希望程序能够识别“İFEL”以“if”开头。为了确保它们不区分大小写，我首先将两个文本都转换为小写。 İFEL 变成 i(dot)fel 并且“if”不被识别为它的一部分

Answer 1

如果你打印出你看到的字符的十六进制值，区别就很明显了：

İ 0x130 - Normalized : İ 0x49 0x307 - Lower case: i̇ 0x69 0x307 - Lower case Normalized : i̇ 0x69 0x307
I 0x49 - Normalized : I 0x49 - Lower case: i 0x69 - Lower case Normalized : i 0x69

规范化土耳其语İ 不会给你一个英语I，而是给你一个英语I，后跟一个变音符号0x307。这是正确的，并且是规范化过程所期望的。规范化不是“转换为 ASCII”操作。正如Normalizer 的文档所述，它遵循的过程是一个非常严格定义的标准，即Unicode Standard Annex #15 — Unicode Normalization Forms。

在规范化之前或之后都有numerous ways to strip diacritics。您需要什么取决于您的用例的具体情况，但对于您的用例，我建议使用Guava 的CharMatcher 类在规范化后去除非ASCII 字符，例如：

String asciiString = CharMatcher.ascii().retainFrom(normalizedString);

---

This answer 更深入地介绍了\p{InCombiningDiacriticalMarks} 的作用，以及为什么它不理想。我的CharMatcher 解决方案也不理想（链接的答案提供了更强大的解决方案），但为了快速修复，您可能会发现只保留“足够好”的 ASCII 字符。这比基于Pattern 的方法更接近“正确”并且更快。

Answer 2

您可以使用下面的代码：

public static void main(String... a) {

      String iTurkish = "\u0130";//"İ";
      String iEnglish = "I";
      prin(iTurkish);
      prin(iEnglish);


}

private static void prin(String s) {
    System.out.print(s);
    String nfdNormalizedString = Normalizer.normalize(s, Normalizer.Form.NFD);
    Pattern pattern = Pattern.compile("\\p{InCombiningDiacriticalMarks}+");
    System.out.print(" -  Normalized : " + pattern.matcher(nfdNormalizedString).replaceAll(""));
    System.out.print(" - lower case: " + s.toLowerCase());
    System.out.print(" -  Lower case Normalized : " + Normalizer.normalize(pattern.matcher(nfdNormalizedString).replaceAll("").toLowerCase(), Normalizer.Form.NFD));
    System.out.println();

}

或查看Converting Symbols, Accent Letters to English Alphabet