Python 3.x 关于编码

Question

# -*- coding: utf-8 -*-

import urllib.request as request

import re

url = "http://jjo.kr/users/38281748"

raw_data = request.urlopen(url).read() #Bytes

decoded = raw_data.decode("utf-8")

print(decoded)

---

我试图获取有关该网址的 HTML 信息，但收到错误消息。

UnicodeEncodeError: 'cp949' codec can't encode character '\ufeff' in position 2313: 非法多字节序列

我是不是误解了decode()这个功能？

根据 Python 3.5.2 标准库 decode “返回从给定字节解码的字符串。”。

但我得到的是 cp949 而不是 utf-8 字符串。

谁能告诉我我的代码有什么问题？

Answer 1

你已经通过解码字节字符串得到了 unicode 字符串。

但是当你尝试打印它时，python 使用 cp949 编码（因为它是你的标准输出编码 = sys.stdout.encoding）

有\ufeff（零宽度无间隔）不能用cp949编码表示。

>>> import unicodedata
>>> unicodedata.name('\ufeff')
'ZERO WIDTH NO-BREAK SPACE'

您可以通过使用ignore、replace 错误处理程序进行编码来忽略/替换此类字符。

import sys

decoded = raw_data.decode("utf-8")
decoded = decoded.encode(sys.stdout.encoding, 'ignore').decode(sys.stdout.encoding)
print(decoded)

Answer 2

解码后的字符串包含一个\uFEFF 字符，这是一个字节顺序标记。我不知道为什么它会出现在页面中间，但是编码它不起作用。

删除它：

decoded = decoded.replace('\ufeff', '')

它可能会起作用。