【问题标题】:How to convert an UTF-8 string?如何转换 UTF-8 字符串?
【发布时间】:2014-07-11 23:01:34
【问题描述】:

我必须使用发送零终止字符串的方法:

ssize_t send_utf8 (char *buffer)

其中 buffer 是编码为“utf-8”或“ISO-8859-1”的字符串。 此函数使用另一个发送缓冲区的函数发送一个以零结尾的字符串(此函数是透明的,缓冲区可能是二进制数据):

ssize_t send (void *buffer, size_t  num)

其中 buffer 是要发送的缓冲区,num 是字节数。

我已经实现了这种方式,但在调用 send() 方法之前,我必须转换编码为 UTF-8 的缓冲区。

ssize_t send_utf8 (char *buffer) {

    // UTF-8 conversion?

    net_http_send(buffer, strlen(buffer));

    return connection->content_len;   // number of bytes written
}

我应该使用任何库还是有一种快速的方法来转换这个缓冲区? 提前致谢。

【问题讨论】:

  • 所有计算机中的数据最终都是“二进制”的。你能详细说明一下吗?也许显示一个带有相应“二进制”数据的示例字符串?
  • UTF-8 已经是一种指定到位级别的编码。定义“二进制数据”。
  • 你在自找麻烦,周围很少有应用程序可以将 utf-8 编码的字符串正确地视为二进制数据。如果它没有落在未正确 utf-8 编码的数据上,那么当字符串被规范化时,数据将被任意损坏。 Boilerplate是先对二进制数据进行编码,base64非常常用。
  • @HansPassant 我认为我们有一个有效的 UTF-8 字符串通过处理“二进制”数据的通道发送(我通常认为“任何字节都没有假设解释”), 不是被视为 UTF-8 字符串的任意二进制数据。

标签: c utf-8 binary-data data-conversion


【解决方案1】:

UTF-8 已经是“二进制”,它由多个字节表示,因此无需“编码”。

但是,如果要发送/接收缓冲区,则需要有一个协议来定义缓冲区的开始/结束。在 UTF-8 的情况下,这将是零终止字节。对于缓冲区,通常的约定是在其前面加上一个长度字段,而不是在末尾搜索零字节,但也存在其他约定。

因此,如何做到这一点并不取决于 UTF-8,而是取决于缓冲区发送约定。

【讨论】:

  • 我认为说 UTF-8 是零终止的说法具有误导性。 UTF-8 是字节和代码点之间的映射,如何存储这些字节(特别是如何表示字节字符串的长度/结尾)是正交的。对应于字节 0 的代码点 0 没有特殊含义,并且 UTF-8(以及大多数其他与 unicode 相关的算法)不关心它出现的位置和频率。您可以并且通常应该使用长度前缀来表示 UTF-8 字符串。
  • @delnan:以零结尾的 UTF8 字符串非常好。它被设计为与 C 字符串处理兼容。但你是对的。 UTF8 不需要终止或长度。这些都是它不关心的细节。
  • @ZanLynx UTF-8 的零终止完全是,对于 ASCII 也是如此。它适用于两者,并且“在罗马时像罗马人那样做”,但在真空中(以及除 C 之外的任何语言),它通常比明确的长度更糟糕。
【解决方案2】:

正如 Rutger Nijlunsing 所说,UTF-8 字符串已经是二进制的。

传输存储在缓冲区中的数据的大多数方法都使用指针和长度参数来传输数据。在您的情况下,指针将是您的字符串的开头,如果您还没有将它存储在代码中的某个位置,您可以使用空终止符来查找长度。

【讨论】:

    【解决方案3】:

    其中 buffer 是编码为“utf-8”或“ISO-8859-1”的字符串。

    这会给你带来麻烦。您需要选择其中一个并与之保持一致。如果 buffer 是 UTF-8 编码的,那么您可以将其传递给 net_http_send() 原样:

    ssize_t send_utf8 (char *buffer)
    {
        net_http_send(buffer, strlen(buffer));
        ...
    }
    

    但是如果是其他编码,你得先转换一下:

    ssize_t send_utf8 (char *buffer)
    {
        char *utf8_buffer = convert_to_utf8(buffer, strlen(buffer));
        net_http_send(utf8_buffer, strlen(utf8_buffer));
        ...
    }
    

    不过,您实际如何进行转换取决于您的开发环境。 C 没有 UTF-8 的概念(直到 C++11 才添加),因此您将不得不使用第三方库,例如 iconv 或 ICU,或者编写自己的转换代码(UTF-8 是相当容易手动实现)。但无论哪种方式,您都需要知道 buffer 使用的编码,因为您必须先将其解码为 UTF-32,然后才能将其重新编码为 UTF-8(库会为您处理该细节)。

    【讨论】:

      猜你喜欢
      • 2010-09-21
      • 2013-08-20
      • 1970-01-01
      • 2010-11-03
      • 2012-07-02
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多