带有给出 UnicodeEncodeError 的国家字符的 URL

Question

我正在尝试提取字典条目：

url = 'http://www.lingvo.ua/uk/Interpret/uk-ru/вікно'
# parsed_url = urlparse(url)
# parameters = parse_qs(parsed_url.query)
# url = parsed_url._replace(query=urlencode(parameters, doseq=True)).geturl()
page = urllib.request.urlopen(url)
pageWritten = page.read()
pageReady = pageWritten.decode('utf-8')
xmldata = lxml.html.document_fromstring(pageReady)
text = xmldata.xpath(//div[@class="js-article-html g-card"])

无论是打开还是关闭注释行，它都会不断出错：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 24-28: ordinal not in range(128)

Answer 1

您的问题是您的 URL 路径中有非 ASCII 字符，必须使用 Python 3 中的 urllib.parse.quote(string) 或 Python 2 中的 urllib.quote(string) 正确编码。

# Python 3
import urllib.parse
url = 'http://www.lingvo.ua' + urllib.parse.quote('/uk/Interpret/uk-ru/вікно')

# Python 2
import urllib
url = 'http://www.lingvo.ua' + urllib.quote(u'/uk/Interpret/uk-ru/вікно'.encode('UTF-8'))

注意：根据What is the proper way to URL encode Unicode characters?，URL 应编码为 UTF-8。但是，这并不排除对生成的非 ASCII、UTF-8 字符进行百分比编码。