Java 控制台应用程序中的 Unicode 输入

Question

我一直在尝试在我的 Java 应用程序中为小型实用程序 sn-p 检索“unicode 用户输入”。问题是，它似乎正在“开箱即用”的 Ubuntu 上运行，我猜它在 UTF-8 上具有操作系统范围的编码，但在从“cmd”运行时在 Windows 上不起作用。考虑的代码如下：

public class SerTest {

    public static void main(String[] args) throws Exception {
        testUnicode();
    }

    public static void testUnicode() throws Exception {
        System.out.println("Default charset: " +
           Charset.defaultCharset().name());
        BufferedReader in  =
           new BufferedReader(new InputStreamReader(System.in, "UTF-8"));
        System.out.printf("Enter 'абвгд эюя': ");
        String line = in.readLine();
        String s = "абвгд эюя";
        byte[] sBytes = s.getBytes();
        System.out.println("strg bytes: " + Arrays.toString(sBytes));
        byte[] lineBytes = line.getBytes();
        System.out.println("line bytes: " + Arrays.toString(lineBytes));
        PrintStream out = new PrintStream(System.out, true, "UTF-8");
        out.print("--->" + s + "<----\n");
        out.print("--->" + line + "<----\n");
    }

}

在 Ubuntu 上的输出（无需对配置进行任何更改）：

me@host> javac SerTest.java  && java SerTest
Default charset: UTF-8
Enter 'абвгд эюя': абвгд эюя
strg bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
line bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
--->абвгд эюя<----
--->абвгд эюя<----

Windows CMD 提示符下的输出（不受 JAVA_TOOL_OPTIONS 影响）：

E:\>chcp 65001
Active code page: 65001

E:\>java -Dfile.encoding=utf8 SerTest
Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=utf8
Default charset: UTF-8
Enter 'абвгд эюя': юя': ': абвгд эюя
strg bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
Exception in thread "main" java.lang.NullPointerException
        at SerTest.testUnicode(SerTest.java:26) # byte[] lineBytes = line.getBytes();
        at SerTest.main(SerTest.java:15)

Eclipse 控制台中的输出（使用 JAVA_TOOL_OPTIONS 后）：

Default charset: UTF-8
Enter 'абвгд эюя': абвгд эюя
strg bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
Picked up JAVA_TOOL_OPTIONS: -Dfile.encoding=utf8
line bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
--->абвгд эюя<----
--->абвгд эюя<----

在 Eclipse 控制台上，它可以正常工作，因为我添加了一个系统范围的环境变量 (JAVA_TOOL_OPTIONS)，如果可能的话，我希望避免使用它。

Eclipse 控制台中的输出（删除 JAVA_TOOL_OPTIONS 之后）：

Default charset: UTF-8
Enter 'абвгд эюя': абвгд эюя
strg bytes: [-48, -80, -48, -79, -48, -78, -48, -77, -48, -76, 32, -47, -115, -47, -114, -47, -113]
line bytes: [-61, -112, -62, -80, -61, -112, -62, -79, -61, -112, -62, -78, -61, -112, -62, -77, -61, -112, -62, -76, 32, -61, -111, -17, -65, -67, -61, -111, -59, -67, -61, -111, -17, -65, -67]
--->абвгд эюя<----
--->абвгд �ю�<----

所以我的问题是：究竟是怎么回事？需要进行哪些代码更改才能确保此 sn-p 适用于各种“Unicode”输入？

很抱歉这个冗长的问题，并在此先感谢您，
佐助

Answer 1

一些注意事项：

• -Dfile.encoding=utf8 是 not supported，可能会导致意想不到的副作用：

J2SE 平台规范不需要“file.encoding”属性；它是 Sun 实现的内部细节，不应由用户代码检查或修改。它也是只读的；技术上不可能支持在命令行上或在程序执行期间的任何其他时间将此属性设置为任意值。

• Console 类将检测并使用终端编码，但在 Windows 上不支持 65001 (UTF-8) - 至少，我上次尝试时不是这样

我认为，将 Unicode 与 cmd.exe 结合使用的正确且有记录的方法是使用 WriteConsoleW 和 ReadConsoleW。

当我看到这个时，我写了几篇博客文章：

• I18N: Unicode at the Windows command prompt
• Java: Unicode on the Windows command line

Answer 2

当您尝试调用Arrays.toString(lineBytes) 时会抛出NPE，这意味着lineBytes 为空。

lineBytes 持有价值：line.getBytes()。只有在 UnsupportedEncodingException 被抛出时，getBytes() 才能返回 null。

它发生在 windows 上，因为 windows 命令提示符默认不支持 unicode。这适用于 Ubuntu，因为它的命令提示符完全启用了 unicode。它部分适用于 eclipse，因为 Eclipse 的控制台窗口是一个 java 组件，它支持 unicode 输入并使用 JAVA_TOOL_OPTIONS 输出。

底线是您希望将 Windows 命令提示配置为能够使用 unicode 字符。我看到了几个关于这个话题的讨论。请看这个：Unicode characters in Windows command line - how?

我希望这会对你有所帮助。