如何将字符串减少为 ASCII 7 字符以进行索引？

Question

我正在开发一个必须索引某些句子的应用程序。目前使用 Java 和 PostgreSQL。句子可能使用多种语言，例如法语和西班牙语，使用重音符号和其他非 ASCII 符号。

对于每个单词，我想创建一个可索引的等价词，以便用户可以执行对重音不敏感的搜索（音译）。例如，当用户搜索“nacion”时，即使应用程序存储的原始单词是“Nación”，它也必须找到它。

对此最好的策略是什么？我不一定只限于 PostgreSQL，内部索引值也不需要与原始单词有任何相似之处。理想情况下，它应该是一个通用的解决方案，用于将任何 Unicode 字符串转换为不区分大小写和重音的 ASCII 字符串。

到目前为止，我正在使用如下所示的自定义函数，它只是在存储索引值之前将一些字母替换为 ASCII 等效项，并对查询字符串执行相同操作。

public String toIndexableASCII (String sStrIn) {
  if (sStrIn==null) return null;
  int iLen = sStrIn.length();
  if (iLen==0) return sStrIn;
  StringBuilder sStrBuff = new StringBuilder(iLen);
  String sStr = sStrIn.toUpperCase();

  for (int c=0; c<iLen; c++) {
    switch (sStr.charAt(c)) {
      case 'Á':
      case 'À':
      case 'Ä':
      case 'Â':
      case 'Å':
      case 'Ã':
        sStrBuff.append('A');
        break;
      case 'É':
      case 'È':
      case 'Ë':
      case 'Ê':
        sStrBuff.append('E');
        break;
      case 'Í':
      case 'Ì':
      case 'Ï':
      case 'Î':
        sStrBuff.append('I');
        break;
      case 'Ó':
      case 'Ò':
      case 'Ö':
      case 'Ô':
      case 'Ø':
        sStrBuff.append('O');
        break;
      case 'Ú':
      case 'Ù':
      case 'Ü':
      case 'Û':
        sStrBuff.append('U');
        break;
      case 'Æ':
        sStrBuff.append('E');
        break;
      case 'Ñ':
        sStrBuff.append('N');
        break;
      case 'Ç':
        sStrBuff.append('C');
        break;
      case 'ß':
        sStrBuff.append('B');
        break;
      case (char)255:
        sStrBuff.append('_');
        break;
      default:
        sStrBuff.append(sStr.charAt(c));
    }
  }

  return sStrBuff.toString();
}

Answer 1

    String s = "Nación";

    String x = Normalizer.normalize(s, Normalizer.Form.NFD);

    StringBuilder sb=new StringBuilder(s.length());
    for (char c : x.toCharArray()) {
        if (Character.getType(c) != Character.NON_SPACING_MARK) {
            sb.append(c);
        }
    }

    System.out.println(s); // Nación
    System.out.println(sb.toString()); // Nacion

这是如何工作的： 它将国际字符拆分为 NFD 分解（ó 变为 o◌́），然后去除组合的变音符号。

Character.NON_SPACING_MARK 包含组合变音符号（Unicode 将其称为 Bidi Class NSM [Non-Spacing Mark]）。

Answer 2

对当前代码的一项明显改进：使用您的映射预填充的Map<Character, Character>。

然后简单地检查该 Map 是否有映射；如此；使用它；否则使用原始字符。

正如 Androbin 解释的那样，有一些特殊的映射不依赖于对象，而是使用原始类型，例如 trove。因此，取决于您的解决方案和要求；你可以调查一下。