字符集转换问题 - 调试无效字符 - 逆向工程早期的转换

Question

字符转换问题。 我有一些编码或解码不正确的字符串。 字符串以 ASCII 格式的 CSV 文件出现。

我目前拥有的字符串是：

N‚met
Tet‹

我知道：

"‚" character (0x82) should be originally "é" (é acute accent)
"‹" character (0x8B) should be originally "ő" (o double acute accent)

如何调试和逆向工程，原始字符发生了哪些转换以获得当前字符？

我想发生了多次解码编码，但我无法重现原始字符。

Answer 1

我将我的评论的扩展版本作为答案：

您的查看器使用CP1252（英语和西欧，在Windows 中也称为ANSI）或CP1250（东欧）或其他类似的代码页。大多数字符都以相同的方式编码，只有很少的语言特定更改。您的示例不包含两种编码不同的字符，所以我不能准确地说。

该代码页用于 Microsoft Windows，它们基于（但不是 100% 兼容）Latin-1，因此通常会看到使用这种编码解释的文本。 MacO 和 Linux 大量（现在）采用 UTF-8 编码。 Windows 内部使用 Unicode（但 UTF-16）

旧的编码可能是 CP437：DOS 中的标准代码页，因此它也经常用于 CSV 文件。其他常见的旧编码是 CP850（西欧）和 CP852（中欧）。

对于您在 cmets 中输入的其他答案，我认为您应该转到超级用户（如果您正在请求工具（某些编辑器允许您指定编码。您可以使用浏览器（打开本地文件）：浏览器也允许您选择本地编码，我认为您可以复制为 Unicode [不确定]，其他工具有时会隐藏导入文件的选项，但可能不是所有选项），或者作为本网站中的新问题，如果您愿意以编程方式进行。但是因此您需要指定语言。Python 非常适合这种转换（大多数脚本语言都是为处理文本而创建的）：python 内置了许多编码，您应该只指定何时读取和写入文件。R也可以指示输入编码。

Answer 2

我编写了自己的实用程序来帮助我诊断和修复许多棘手的编码问题。它作为开源库的一部分提供。该实用程序将任何字符串转换为 unicode 序列，反之亦然。您所要做的就是：

String codes = StringUnicodeEncoderDecoder.encodeStringToUnicodeSequence("Hello world");

它会返回字符串"\u0048\u0065\u006c\u006c\u006f\u0020\u0057\u006f\u0072\u006c\u0064"

这同样适用于任何语言的任何字符串，包括特殊字符。这是文章Open Source Java library with stack trace filtering, Silent String parsing Unicode converter and Version comparison 的链接，该文章解释了该库以及从何处获取它（在Maven central 和github 上均可用。在文章中搜索段落：“字符串Unicode 转换器”.

因此，当您阅读您的字符串时，请转换它，看看会发生什么。通过这种方式，您将看到那里有哪些符号，以及信息是否正确并且仅因某些错误的编码而失真，或者信息本身是否丢失。您可以在 Internet 上轻松找到提供任何符号到 unicode 的映射表的信息