jsoup 的奇怪编码行为

Question

我用jsoup从不同页面的html源代码中提取了一些信息。它们中的大多数是 UTF-8 编码的。其中一个是用 ISO-8859-1 编码的，这会导致一个奇怪的错误（在我的选择中）。

包含错误的页面是： http://www.gudi.ch/armbanduhr-metall-wasserdicht-1280x960-megapixels-p-560.html

我使用以下代码读取了所需的字符串：

Document doc = Jsoup.connect("http://www.gudi.ch/armbanduhr-metall-wasserdicht-1280x960-megapixels-p-560.html").userAgent("Mozilla").get();
String title = doc.getElementsByClass("products_name").first().text();

问题是字符串“HD Armbanduhr aus Metall 4GB Wasserdicht 1280X960 – 5 Megapixels”中的连字符。像öäü 这样的正常变音符号可以正确读取。仅此单个字符，不输出为“-”出了问题。

我尝试使用 out.outputSettings().charset("ISO-8859-1") 覆盖（正确设置的）页面编码，但这也无济于事。

接下来，我尝试使用 Charset 类手动将字符串的编码从 utf8 和 iso-8859-1 更改为 utf8 和 iso-8859-1。也没有运气。

有人提示我在使用 jsoup 解析 html 文档后可以尝试获取正确的字符吗？

谢谢

Answer 1

这是网站本身的错误。其实是三个错误：

1. 在 HTTP Content-Type 响应标头中没有任何字符集提供页面。 HTML 元标记中有ISO-8859-1，但是当页面通过 HTTP 提供时，它会被忽略！一般的浏览器要么尝试智能检测，要么使用平台默认编码对网页进行编码，在 Windows 机器上为 CP1252。

2. <meta> 标记假装内容是 ISO-8859-1 编码的，但该字符集的实际字符 – (U+2013 EN DASH) 不是 covered一点也不。然而，它是covered，CP1252 字符集为0x0096。

3. 根据网页源代码，产品名称使用文字字符 –，而不是同一网页上其他地方发现的 HTML 实体 –。

Jsoup 可以透明地修复许多开发不佳的网页，但是这个真的超越了 Jsoup。您需要手动读取它，然后将其作为 CP1252 提供给 Jsoup。

String url = "http://www.gudi.ch/armbanduhr-metall-wasserdicht-1280x960-megapixels-p-560.html";
InputStream input = new URL(url).openStream();
Document doc = Jsoup.parse(input, "CP1252", url);
String title = doc.select(".products_name").first().text();
// ...