Java 与 C# 中的不同 UTF-16 编码

Question

在 C# 与 Java 中将字符串转换为字节时，我遇到了不同的结果。

C#：

byte[] byteArray =  Encoding.Unicode.GetBytes ("chess ¾");
for (int i = 0; i < byteArray.Length; i++)
    System.Diagnostics.Debug.Write (" " + byteArray[i]);
System.Diagnostics.Debug.WriteLine("");
System.Diagnostics.Debug.WriteLine(Encoding.Unicode.GetString(byteArray));

显示：

99 0 104 0 101 0 115 0 115 0 32 0 190 0
chess ¾

Java：

byte[] byteArray = "chess ¾".getBytes("UTF-16LE");
for (int i = 0; i < byteArray.length; i++)
        System.out.print(" " + (byteArray[i]<0?(-byteArray[i]+128):byteArray[i]));
System.out.println("");
System.out.println(new String(byteAppName,"UTF-16LE"));

显示：

99 0 104 0 101 0 115 0 115 0 32 0 194 0
chess ¾

注意字节数组中倒数第二个值是不同的！我的目标是加密这些数据并能够从 C# 或 Java 读取它。这种差异似乎是一个障碍。

附带说明一下，在我学会使用 Unicode(C#)/UTF-16LE(Java) 之前，我使用的是 UTF-8 ...

C#： byte[] byteArray = Encoding.UTF8.GetBytes ("chess ¾");

显示： 99 104 101 115 115 32 194 190

Java： byteArray = appName.getBytes("UTF-8");

显示： 99 104 101 115 115 32 190 194

奇怪的是，倒数第二个和最后一个字节被翻转。

最后，¾ 的 Unicode 是十进制 190 (http://www.fileformat.info/info/unicode/char/BE/index.htm)，而不是十进制 194 (Â) (http://www.fileformat.info/info/unicode/char/00c2/index.htm)。

任何帮助将不胜感激。

Answer 1

您的问题不在于编码，而在于您打印结果的方式，您正在使用 byteArray[i] < 0 ? (-byteArray[i] + 128) : byteArray[i] 从字节转换为整数，这会给您错误的结果，请改用 byteArray[i] & 0xFF 之类的其他内容。使用此 poc 比较两种转换：

    String encoding = "UTF-16LE";
    byte[] byteArray = "chess ¾".getBytes(encoding);
    for (int i = 0; i < byteArray.length; i++) {
        // your conversion
        System.out.print(" " + (byteArray[i] < 0 ? (-byteArray[i] + 128) : byteArray[i]));
       // a more appropriate one
        System.out.print("(" + (byteArray[i] & 0xFF) + ") ");
    }
    System.out.println("");
    System.out.println(new String(byteArray, encoding));

Answer 2

我的猜测。

UTF-16LE 表示字符占用 2 或 4 个字节。

检查this 并向下滚动到 3/4。您将看到 190 和 194 (11000010 10111110) - 这是您对符号进行编码所需的两个字节，显然称为“VULGAR FRACTION THREE QUARTERS”。

当你创建byte[] 时，数组只能存储 1 个字节，不能存储两个，所以你会错过一个。看起来在 C# 中你错过了 194，而在 Java 中你错过了 190。

原因是字节序。见this答案。

在 Java 中，getBytes("UTF-16") 返回一个大端表示。

C# 的 System.Text.Encoding.Unicode.GetBytes 返回 little-endian 表示。

但是，在 Java 中，getBytes("UTF-16LE") 根据this 以小端序返回，这就是您正在使用的。

我现在有疑问。

我需要更多地考虑您在 Java 中到底在做什么。还不知道怎么解决。