从 messageSource 读取 unicode 会导致 Java 5 出现问题

Question

我用属性文件（例如：messages_en_US.properties、messages_de_DE.properties）制作了一个支持 i18n 的 Spring(2.5.6) Web 应用程序。

这个 .properties 文件带有 uni-codes。例如：

busy = Besch\u00E4ftigt

当从messageSource 读取busy 关键字时，会得出以下结果：

...
private static ReloadableResourceBundleMessageSource messageSource;

    /**
     * Gets a message from the resources (.properties) defined in the applicationContext.xml
     *
     * @param input string to hook up
     * @return the the message hooked up from the resources
     */
    public static String getMessage(String input){
        System.out.println(input); //busy
        System.out.println(messageSource.getDefaultEncoding()); //UTF-8
        System.out.println(messageSource.getMessage(input, null, null)); //Beschu00E4ftigt
        return messageSource.getMessage(input, null, null);
    }
...

所以没有\

服务器上的文件也是UTF-8：

问题发生的环境：

• Tomcat 5.5.28（从common/lib 运行jsp-api.jar 和servlet-api.jar）
• JDK 1.5.0_22

• JSTL 1.1.2（从应用程序lib读取）

• Tomcat 6.0.32（从lib 运行jsp-api.jar 和servlet-api.jar）

• JDK 1.5.0_22
• JSTL 1.1.2（从应用程序lib读取）

解决问题的环境（完全相同的分布）： - Tomcat 6.0.32（从 lib 运行 jsp-api.jar 和 servlet-api.jar） - JDK 1.6.0_13 - JSTL 1.1.2（从应用程序lib读取）

如果您需要更多信息，请告诉我。不要说我需要更新我的 JDK，因为这是不可能的。

更新 applicationContext.xml 中的绑定 messageSource

<b:bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource">
    <b:property name="defaultEncoding" value="UTF-8"/>
    <b:property name="fallbackToSystemLocale" value="false" />
    <b:property name="basenames">
        <b:list>
            <b:value>classpath:messages</b:value>
            <b:value>/public/custom/i18n/portalmessages</b:value>
        </b:list>
    </b:property>    
    <b:property name="cacheSeconds" value="1"/>
</b:bean>

更新 2：将资源属性文件放在类路径上并使用类加载器：

URLClassLoader cl = (URLClassLoader) IOUtils.class.getClassLoader();
InputStream resourceAsStream = cl.getResourceAsStream("messages_de_DE.properties");
Properties prop = new Properties();
prop.load(resourceAsStream);
System.out.println("From classpath --> " + prop.get("busy")); //Beschäftigt
System.out.println("From i18n folder --> " + I18nFunctions.getMessage("busy")); //Beschu00E4ftigt

Answer 1

我看了DefaultPropertiesPersister的源代码（ReloadableResourceBundleMessageSource内部使用）。

如果指定了defaultEncoding，则从Reader 手动逐行加载属性，而不是使用传统的Properties.load() 方法。

在将键/值对添加到Properties 对象之前，在Strings 上调用unescape() 方法

protected String unescape(String str) {
    StringBuffer outBuffer = new StringBuffer(str.length());
    for (int index = 0; index < str.length();) {
        char c = str.charAt(index++);
        if (c == '\\') {
            c = str.charAt(index++);
            if (c == 't') {
                c = '\t';
            }
            else if (c == 'r') {
                c = '\r';
            }
            else if (c == 'n') {
                c = '\n';
            }
            else if (c == 'f') {
                c = '\f';
            }
        }
        outBuffer.append(c);
    }
    return outBuffer.toString();
}

这是 \ 字符被删除的地方。

如果创建DefaultPropertiesPersister的子类如下

package com.something;

import org.apache.commons.lang.StringEscapeUtils;
import org.springframework.util.DefaultPropertiesPersister;

public class MyPropertiesPersister extends DefaultPropertiesPersister {
    protected String unescape(String str)
    {
        return StringEscapeUtils.unescapeJava(str);
    }    
}

像这样在你的 spring 配置中设置它：

<b:bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource">
    <b:property name="defaultEncoding" value="UTF-8"/>
    <b:property name="fallbackToSystemLocale" value="false" />
    <b:property name="basenames">
        <b:list>
            <b:value>classpath:messages</b:value>
            <b:value>/public/custom/i18n/portalmessages</b:value>
        </b:list>
    </b:property>    
    <b:property name="cacheSeconds" value="1"/>
    <b:property name="propertiesPersister">
        <b:bean class="com.something.MyPropertiesPersister"/>
    </b:property>
</b:bean>

它会起作用.. 可能需要进一步的 jiggery-pokery 才能获得与其他编码相关的确切内容，等等 :)

Answer 2

request.setCharacterEncoding("UTF-8");

当在任何getParameter() 调用之前调用时，这只指示servlet API 使用什么编码来解析POST（不是GET！）request 正文的参数.

您仍然必须更改 response 编码以使用 UTF-8，以便 servlet API 知道它应该使用什么编码将字符作为字节发送到 HTTP 连接的另一端。您还必须通过 HTTP 响应标头指示网络浏览器传输字节的编码是什么，以便网络浏览器可以正确地将它们解码为字符。

在 JSP 中，这两个任务都可以通过文件顶部的这一简单行来完成。您需要将其应用于所有 JSP，以及包含文件/片段。

<%@ page pageEncoding="UTF-8" %>

否则服务器平台默认编码将用于发送，客户端平台默认编码用于读取（尽管某些智能网络浏览器如 Firefox 可以在 HTTP 响应标头中未指定字符集时自动检测字符集）。

另见：

• Unicode - How to get the characters right?

---

更新：您确定 unicode 转义本身不会在 Linux 机器的属性文件中重新转义吗？即，您看到\u00E 并且喜欢所有地方，因此不是\\u00E？这样就可以解释问题了。

Answer 3

您需要确保以运行服务器的用户身份检查语言环境，或者更准确地说，您需要检查服务器启动环境的语言环境。出于调试目的，您可以编辑启动脚本以将“语言环境”的输出写入某个文件。

Answer 4

引用 java.util.Properties 的 javadoc，

load(InputStream) / store(OutputStream, String) 方法与 load(Reader)/store(Writer, String) 对的工作方式相同，除了输入/输出流采用 ISO 8859-1 字符编码.不能用这种编码直接表示的字符可以使用 Unicode 转义来编写；转义序列中只允许使用单个 'u' 字符。 native2ascii 工具可用于将属性文件与其他字符编码进行转换。

也许您有一些构建阶段将您的 UTF-8 编码文件转换为 ascii。尝试将属性文件的编码更改为 8859-1。听起来您的属性文件已经适当地转义了 Unicode 字符。

还可以使用getClassLoader().getResourceAsStream(...) 自己获取到属性文件的流，然后加载到属性文件中。查看这些值是否是所需的字符串。这将是编码+包装问题与弹簧问题的 1/2。

根据评论线程更新：

Java 1.5 java.util.Properties没有有load(Reader) API。很明显，这是 Java 1.6 时间框架中的一个改进领域。