抓取俄罗斯网站时出现垃圾字符

Question

我正在尝试在 Linux 中抓取俄罗斯网站，但输出似乎是垃圾字符。 该网站以 UTF-8 编码，在阅读时我将编码设置为 UTF-8。然而，这似乎并不能解决问题。 我应该怎么读？

public class Crawl {   
    @SuppressWarnings("unused")
    public static void main(String[] args) {

    URL my_url = new URL("http://www.fmsmoscow.ru/docs/migration_registration/registration.html");
    BufferedReader br = new BufferedReader(new InputStreamReader(my_url.openStream(),"UTF-8"));
    while (null != (strTemp = br.readLine())){
    System.out.println(strTemp);
        }
    }   
}

上面是相同的代码。 我将代码导出为 jar 并将其添加到 Linux 服务器中。 然后我正在执行它以在 Linux 控制台中获取输出。

Answer 1

通常，您还可以存储内容二进制文件（按原样），然后查看哪里出错了。比如说像 JEdit 或 NotePad++ 这样可以切换编码的程序员编辑器。它可能会在带有本机 Windows-1251 的 HTML cmets 中滑动。 也许剥离 HTML cmets 会有所帮助。

对于容错解码、错误报告，需要一个CharsetDecoder。

CharsetDecoder decoder = StandardCharsets.UTF_8.newDecoder(); // ISO_8859_1
decoder.onMalformedInput(CodingErrorAction.IGNORE);
InputStreamReader reader = new InputStreamReader(my_url.openStream(), decoder);

： 请参阅有关 REPLACE、REPORT 的 javadoc。如果你想要更多，方法是不同的。您需要读取输入，将字节放入 ByteBuffer，然后

CoderResult result = decoder(byteBuffer, charBuffer, true /*EOF*/);

---

要从 UTF-8 中挑选 Cyrillic 序列，可以检查 UTF-8 序列的有效性：

• 0xxxxxxx
• 110xxxxx 10xxxxxx
• 1110xxxx 10xxxxxx 10xxxxxx
• ...

因此（未经测试）：

void patchMixOfUtf8AndCp1251(byte[] bytes, StringBuilder sb) {
    boolean priorWrongUtf8 = false;
    for (int i = 0; i < bytes.length; ++i) {
        byte b = bytes[i];
        if (b >= 0) {
            sb.appendCodePoint((int)b);
            priorWrongUtf8 = false;
        } else {
            int n = highBits(b); // Also # bytes in sequence
            boolean isUTF8 = !priorWrongUtf8
                    && 1 < n && n <= 6
                    && i + n <= bytes.length;
            if (isUTF8) {
                for (int j = 1; j < i + n; ++j) {
                     if (highBits(bytes[j]) != 1) {
                         isUTF8 = false;
                         break;
                     }
                }
            }
            if (isUTF8) {
                sb.append(new String(bytes, i, i + n, StandardCharsets.UTF_8));
                i += n - 1;
            } else {
                // UTF-8 Continuation char must be Cp1252.
                sb.append(new String(bytes, i, i + 1, "Windows-1251"));
            }
            priorWrongUtf8 = !isUTF8;
        }
    }
}

private int highBits(byte b) {
    int n = 0;
    while (n < 8 && ((1 << (7 - n)) & b) != 0) {
        ++n;
    }
    return n;
}

由于西里尔字母不太可能立即连接到 UTF-8，因此使用状态 priorWrongUtf8。