【问题标题】:String-to-byte sequence translation using a fixed encoding, preferably UTF-8使用固定编码的字符串到字节序列转换,最好是 UTF-8
【发布时间】:2012-09-02 01:53:55
【问题描述】:

在 windows c++ 控制台应用程序中,我想从命令行输入读取密码。密码用于加密(以及以后的解密,可能在世界其他地方的 Windows pc 上具有不同的语言环境)。所以我担心该密码的语言环境和编码没有给出相同的数字表示。在同一台计算机或具有相同语言环境的计算机上,这显然不会产生问题。

因此,我希望能够固定编码(和规范化?)并存储为 UTF-8。此处推荐:http://www.jasypt.org/howtoencryptuserpasswords.html(第 4 点)。

有很多与编码/unicode/UTF-8/codepages 相关的问题,我没有完全(或完全没有)掌握。我摆弄了 boost:locale 和 boost::nowide,但无法弄清楚或者它在 Windows 下不起作用(不知道)。一些链接对所涉及的问题(窗口)进行了更多说明:

http://alfps.wordpress.com/2011/11/22/unicode-part-1-windows-console-io-approaches/

http://alfps.wordpress.com/2011/12/08/unicode-part-2-utf-8-stream-mode/

但是这些链接解决了相反的问题!无论底层表示如何,如何使事物看起来一样,我需要相同的底层 [bit-wise] 表示,无论它看起来如何!

所以问题是,我如何确保(我必须这样做吗?)语言环境/编码对加密的基本数据(数据)没有影响,就像 8 位数组一样整数?我不需要关心 UTF-8 或 Unicode,只需要能够恢复数据,不管是什么语言环境/编码。第一个链接有助于解释问题。

想一想,C 不支持 Unicode,会在一些 C 代码帮助中链接,还是 C++ 会再次改变它?还是将输入限制为“ASCII”字符(我知道在 Windows 上不存在)总是有效,就像在“任何 Windows 计算机上”一样?

接受的解决方案:

void EncryptFileNames ( const boost::filesystem::path& p, const std::string& pw );

int main ( int argc, char **argv ) // No checking
{
    // Call with encrypt.exe c:\tmp pässwörd

    boost::nowide::args a ( argc, argv ); // Fix arguments - make them UTF-8

    boost::filesystem::path p ( argv [ 1 ] );

    EncryptFileNames ( p, boost::locale::normalize ( argv [ 2 ], boost::locale::norm_nfc, std::locale ( ) ) );

    return 0;
}

感谢所有贡献者。

PS:对于加密,我使用带有 VS2008SP1 和 Boost(没有 ICU 后端)的 Crypto++。

【问题讨论】:

  • C 和 C++ 都不能识别 Unicode,因此链接一些 C 代码不会产生影响。当然,操作系统库或第三方库可能支持 Unicode。
  • 好吧,我对这两个库都没有经验,但我可以看到上面的代码是错误的。在尝试规范化之前,您必须转换为 UTF-8。来自 boost::locale::normalize 文档'注意:此函数仅接收 Unicode 字符串,即:UTF-8、UTF-16 或 UTF-32。它没有考虑语言环境编码,因为 Unicode 分解和组合在 Unicode 字符集之外毫无意义。'
  • 其次boost::locale::normalize 不起作用。你必须做类似std::string arg2 = boost::locale::normalize (argv[2], ...);
  • @John 但是输入 (char **argv) 不是我们在 windows 上的 UTF-16 吗?
  • 不,不会。它将使用本地代码页。 char* 数据永远不能是 UTF-16,因为 char 只有 8 位。

标签: c++ windows unicode utf-8 codepages


【解决方案1】:

如果您的应用程序是使用 _UNICODE 编译的,那么只需使用 UTF-8 代码页调用 WideCharToMultiByte 即可获得 UTF-8。如果您的应用程序未使用 _UNICODE 编译,请调用 MultiByteToWideChar 从 ACP 字节中获取 UTF-16,然后调用 WideCharToMultiByte 以获取 UTF-8。

由于您添加的代码显示 std::string,因此数据可能在系统的 ACP 中。所以这里的食谱会起作用。现在,有很多方便的 API 用于此目的,例如 mbtowcs。不要被“MB”分心。这只是 Windows 中“不是 UTF-16”的说法。

【讨论】:

  • 我希望澄清问题。您的解决方案是否实现了目标? boost::nowide 确实以一种非常简单的方式实现了您的建议cppcms.com/files/nowide/html 我不确定它是否实现了我所需要的,因为 UTF-8 也是多字节的。
  • boost::nowide 是一件很棒的事情。比 MultiByteToWideChar API 好很多,在 C++ 代码中更方便。你真的关心它是否是多字节的,为什么?它是一个 cookie - 不透明的数据 - 适用于您的用例。
  • @Pavel Radzivilovsky 是的,你说得对,我不在乎它是什么,只是 [不透明数据] 在不同区域设置的不同计算机上是相同的。
  • @degski,所以选择最方便的 UTF-8 或 UTF-16,使用最方便的方法,我不太确定问题出在哪里。
  • @degski,好的,再次查看了您的帖子,我想我看到了您的担忧。从用户那里获得输入后,您不知道该输入是否已“国际化”。好吧,恐怕答案是“视情况而定”。这取决于您如何从用户那里获得输入,以及您如何编译您的应用程序。因此,取得进展的唯一方法是发布您的一些代码。
【解决方案2】:

首先,UTF-8 是一条红鲱鱼。要国际化,您必须使用国际字符集,只有一个值得考虑,它被称为 Unicode。如何在程序中表示 Unicode(即如何编码)取决于您,只要编码可以表示所有 Unicode,就没有问题。您可以选择 UTF-8,但由于您在 Windows 上工作,因此选择 Windows 内部使用的编码 UTF-16 似乎是合理的。正如 bmargulies 所说,您可以使用 MultiByteToWideChar 从本地表示(即本地代码页)获取 UTF-16。我认为不需要执行额外的步骤并从 UTF-16 生成 UTF-8,但如果您想这样做,您可以使用 WideCharToMultiByte。

【讨论】:

  • 问题中的链接解释了使用固定编码进行转换的必要性。
  • @degski UTF-16 是固定编码。
  • 您的意思是指在任何 Windows 计算机上,无论语言环境如何,f.e. 'ö' 或 'ä' 将始终(内部)用相同的 2 个字节表示?引用的文章 sais:“......两个相同的字符串可能用不同的字节序列表示,具体取决于用于翻译的编码(ISO-8859-1、UTF-8 等......)。”我迷路了。我可能没有抓住重点。
  • @john UTF-16 根本不是固定编码。在 UTF-16 中,代码点通常是 4 个字节,有时是 2 个字节。更多详情请在utf8everywhere.org文档中搜索“fixed-width”
  • @RemyLebeau 认为此时 degski 只关心将他的数据进行 Unicode 编码。标准化将是下一步。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-08-16
  • 2016-09-06
  • 2012-09-22
  • 1970-01-01
  • 2019-12-29
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多