【问题标题】:How can I tell if a string contains multibyte characters in Javascript?如何判断字符串是否包含 Javascript 中的多字节字符?
【发布时间】:2023-03-26 02:15:01
【问题描述】:

是否可以在 Javascript 中检测字符串是否包含多字节字符?如果有,能分出哪些吗?

我遇到的问题是这个(如果 Unicode 字符不适合您,我们深表歉意)

s = "????";

alert(s.length);    // '2'
alert(s.charAt(0)); // '��'
alert(s.charAt(1)); // '��'

在此处进行编辑以使其更清晰(我希望)。 据我所知,Javascript中的所有字符串都表示为一系列 UTF-16 代码点,这意味着常规字符实际上占用 2 个字节(16 位),所以我在标题中对“多字节”的使用有点不对劲。有些字符不属于基本多语言平面 (BMP),例如上面示例中的字符串,因此它们占用两个代码点(32 位)。这就是我要问的问题。我也没有编辑原始标题,因为对于不太了解这些东西的人(因此会搜索有关它的信息),“多字节”是有意义的。

【问题讨论】:

  • 这是 Unicode 还是 UTF-8?
  • 这可能是笨拙的,但是如何比较来自 .length 的字符数和从该字符串获得的字节数组的长度呢?无论哪种方式,它都是 O(长度)
  • .length 给你字节长度,而不是字符长度。
  • @nickf: 字符串的length 给出了字符串中包含的 16 位代码单元的数量,而不是字节数。
  • @Tim,是的,你是对的,但重点仍然是这不是字符数的计数。

标签: javascript string internationalization multibyte


【解决方案1】:

JavaScript 字符串是 UCS-2 编码的,但可以使用两个 16 位数字(一个 UTF-16 代理对),其中第一个必须在U+D800 - U+DFFF范围内。

基于此,很容易检测字符串是否包含位于基本多语言平面之外的任何字符(我认为您要问的是:您希望能够识别字符串是否包含位于基本多语言平面之外的任何字符JavaScript 表示为单个字符的代码点范围之外):

function containsSurrogatePair(str) {
    return /[\uD800-\uDFFF]/.test(str);
}

alert( containsSurrogatePair("foo") ); // false
alert( containsSurrogatePair("f?") ); // true

准确计算字符串中包含哪些代码点有点困难,并且需要 UTF-16 解码器。以下将字符串转换为 Unicode 代码点数组:

var getStringCodePoints = (function() {
    function surrogatePairToCodePoint(charCode1, charCode2) {
        return ((charCode1 & 0x3FF) << 10) + (charCode2 & 0x3FF) + 0x10000;
    }

    // Read string in character by character and create an array of code points
    return function(str) {
        var codePoints = [], i = 0, charCode;
        while (i < str.length) {
            charCode = str.charCodeAt(i);
            if ((charCode & 0xF800) == 0xD800) {
                codePoints.push(surrogatePairToCodePoint(charCode, str.charCodeAt(++i)));
            } else {
                codePoints.push(charCode);
            }
            ++i;
        }
        return codePoints;
    }
})();

alert( getStringCodePoints("f?").join(",") ); // 102,119558

【讨论】:

    猜你喜欢
    • 2020-08-26
    • 2012-11-11
    • 1970-01-01
    • 2021-02-07
    • 2014-07-28
    • 1970-01-01
    • 2017-10-15
    • 1970-01-01
    • 2011-02-05
    相关资源
    最近更新 更多