【发布时间】:2017-05-10 01:11:49
【问题描述】:
我用 Java 编写的大学项目,从 Twitter 上获取推文并对其进行分析。
在第一阶段,我接受推文;在我将我的 Linux 服务器程序放到网上并使用它通过用户反馈系统分析推文之后,我必须在 Windows 机器上执行此操作。
当我在 Linux 机器上打开 txt 文件时,它询问我是否要转换为 UTF-8,然后我单击是。但是由于这个操作,一些特殊字符的格式不正确。如果我尝试使用 iconv 以原始格式(可能是CP1252)重新转换,则会返回由特殊字符引起的错误。
我知道无法重新转换这些字符,因为任何特殊字符都是它们可能是的可能字符的总和,但我可以使用一种文本预测字符来重写该字符?。
例如,如果我有because,而e 是一个特殊字符,我看到这个词类似于becaus?,如果我删除? 字符,我如何评价e?我试过用Word,但是txt太大了,所以出现这个问题的单词很多,而Word你必须手动检查每个单词。
【问题讨论】:
标签: java utf-8 type-conversion prediction