如何识别字符串是否包含无法使用 utf8-mb4 字符集存储的特殊字符

Question

如果我们正在尝试将类似的推文存储到数据库中，请参阅此tweet 和以下thread。我无法在 MySQL 中存储这条推文，我想知道如何识别字符串中是否包含 utf8-mb4 字符集无法处理的字符，以便避免存储它。

Answer 1

给您带来问题的字符是U+1F603 SMILING FACE WITH OPEN MOUTH，它的值不能用 16 位表示。当转换为 UTF-8 时，字节值为f0 9f 98 83，它应该适合utf8mb4 字符集 MySQL 列中的问题，因此我同意其他评论者的观点，即它看起来不是 MySQL 问题。如果您可以尝试重新插入此推文，请记录 MySQL 收到的所有 SQL 语句，以确定字符在发送到 MySQL 之前或之后是否损坏。

Answer 2

您可以做一件事，而不是查找字符串的特殊字符 您可以将字符串转换为十六进制格式，然后您可以将其转换为以前的字符串

public static synchronized String toHex(byte [] buf){
    StringBuffer strbuf = new StringBuffer(buf.length * 2);
    int i;
    for (i = 0; i < buf.length; i++) {
        if (((int) buf[i] & 0xff) < 0x10){
            strbuf.append("0");
        }
        strbuf.append(Long.toString((int) buf[i] & 0xff, 16));
    }
    return strbuf.toString();
}

通过使用下面的函数，您可以转换回原始字符串

public synchronized static byte[] hexToBytes(String hexString) {
    HexBinaryAdapter adapter = new HexBinaryAdapter();
    byte[] bytes = adapter.unmarshal(hexString);
    return bytes;
}

Answer 3

如果您想避免存储麻烦的字符（基本多语言平面之外的稀有花哨字符，这会给您带来问题），您可以解析 String 的字符并丢弃 String 如果它包含的代码点Character.charCount 返回2，或者Character.isSupplementaryCodePoint 返回true。

按照您的要求，通过这种方式，您可以避免存储那些（由于某种原因）您的 DBMS 遇到问题的字符串。

来源：参见 javadoc

• Character.charCount
• Character.isSupplementaryCodePoint

而且，当你在它的时候

• String.codePointAt
• String.codePointCount