Windows 上的 UnicodeDecodeError，但在 Mac 上运行完全相同的代码时不会

Question

我正在尝试通过 API 下载 json 数据。代码如下：

import urllib.request, ssl, json

context = ssl._create_unverified_context()
rsbURL = "https://rsbuddy.com/exchange/summary.json"
with urllib.request.urlopen(rsbURL, context=context) as url:
    data = json.loads(url.read().decode('UTF-8'))

这段代码在我的 Mac 上运行良好，我确认 data 是它应该是的——json 字符串。但是，当我在 Windows 上运行完全相同的代码时，会出现此错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

发生了什么，我该如何解决？

Answer 1

看起来服务器出于某种原因正在发送压缩响应（除非您明确设置 accept-encoding 标头，否则它不应该这样做）。您可以调整您的代码以使用如下压缩响应：

import gzip
import urllib.request, ssl, json

context = ssl._create_unverified_context()
rsbURL = "https://rsbuddy.com/exchange/summary.json"
with urllib.request.urlopen(rsbURL, context=context) as url:
    if url.info().get('Content-Encoding') == 'gzip':
        body = gzip.decompress(url.read())
    else:
        body = url.read()
data = json.loads(body)