【问题标题】:How to Parse HTML with Non-ASCII Characters using BeautifulSoup?如何使用 BeautifulSoup 解析带有非 ASCII 字符的 HTML?
【发布时间】:2011-10-07 05:41:45
【问题描述】:

尝试使用 BeautifulSoup 解析一些 html 时,我不断收到以下错误:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xae in position 0: ordinal not in range(128)

我已尝试使用以下问题的解决方案来解码 html,但仍然遇到相同的错误。我已经尝试了以下问题的所有解决方案,但它们都不起作用(发布以便我不会得到重复的答案,以防他们通过查看问题的相关方法来帮助任何人找到解决方案)。

有人知道我哪里出错了吗?这是 BeautifulSoup 中的错误吗?我应该安装早期版本吗?

编辑:下面的代码和回溯:

from BeautifulSoup import BeautifulSoup as bs
soup = bs(html)

Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 1282, in __init__
    BeautifulStoneSoup.__init__(self, *args, **kwargs)
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 946, in __init__
    self._feed()
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 971, in _feed
    SGMLParser.feed(self, markup)
  File "/usr/lib/python2.5/sgmllib.py", line 99, in feed
    self.goahead(0)
  File "/usr/lib/python2.5/sgmllib.py", line 133, in goahead
    k = self.parse_starttag(i)
  File "/usr/lib/python2.5/sgmllib.py", line 285, in parse_starttag
    self._convert_ref, attrvalue)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xae in position 0: ordinal not in range(128)

编辑:以下每条评论的错误消息:

Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 1282, in __init__
    BeautifulStoneSoup.__init__(self, *args, **kwargs)
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 946, in __init__
    self._feed()
  File "/var/lib/python-support/python2.5/BeautifulSoup.py", line 971, in _feed
    SGMLParser.feed(self, markup)
  File "/usr/lib/python2.5/sgmllib.py", line 99, in feed
    self.goahead(0)
  File "/usr/lib/python2.5/sgmllib.py", line 133, in goahead
    k = self.parse_starttag(i)
  File "/usr/lib/python2.5/sgmllib.py", line 285, in parse_starttag
    self._convert_ref, attrvalue)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xae in position 0: ordinal not in range(128)

感谢您的帮助!

'ascii' codec error in beautifulsoup

UnicodeEncodeError: 'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)

How do I convert a file's format from Unicode to ASCII using Python?

python UnicodeEncodeError > How can I simply remove troubling unicode characters?

UnicodeEncodeError: 'ascii' codec can't encode character u'\xef' in position 0: ordinal not in range(128)

【问题讨论】:

  • 我没有投反对票。我只是认为您应该确切地展示您所做的事情,而不是仅仅向我们扔一堆链接。
  • 缺少链接:“一些 html”的链接。另外:什么版本的BS,什么版本的Python?请显示回溯。
  • 您收到 Unicode De codeError 并且您认为提及 Unicode En codeError 的 3 个链接会有所帮助?
  • @rolling stone:指向 UnicodeEncodeError 的链接没有帮助,因为它们与您的问题完全无关。我AM试图提供帮助:要求您提供您应该提供的基本事实而不被询问:回溯、版本、输入数据。请多做事,少做态度。
  • @John Machin python 2.5 版,BS 3.0.4 版。添加了回溯。我看不出 HTML 代码是如何相关的或被认为是缺失的链接。使用 BeautifulSoup 解析非 ASCII 字符是一个常见问题(请参阅crummy.com/software/BeautifulSoup/…)。在我看过的所有问题中,几十个回答者都不需要确切的 HTML 代码来提出解决方案。

标签: python beautifulsoup


【解决方案1】:

你在评论中说:“”“我只是查看了我试图解析的 html 的内容类型,看看它是否是我没有尝试过的东西(之前我只是假设它是 UTF-8 ) 但果然是 UTF-8 所以又是一个死胡同。"""

叹息。这正是为什么我一直试图让你泄露你试图解析的 HTML。错误消息表明(第一个)问题字节是 \xae,这绝对不是 UTF-8 序列中的有效前导字节。

要么泄露你的 HTML 链接,要么做一些基本的调试:

uc = html.decode('utf8') 是工作还是失败?如果失败,会有什么错误信息?

您还说过:“”“我开始认为这是 BS 中的一个错误,他们在文档中提到了这一点,可以在此处查看:crummy.com/software/BeautifulSoup/CHANGELOG.html。” ""

我无法想象您指的是变更日志中的哪些模糊条目。在急于更新之前考虑调试您的问题。

更新 看起来像是 sgmllib.py 中的一个不起眼的错误。在第 394 行,将 255 更改为 127,它似乎可以工作。极端情况:属性值 AND 中的 HTML char ref (&amp;#174;) 与 128

Further cmets 与其破解您的 sgmllib.py 副本,不如从 2.7 分支获取最新的 sgmllib.py 副本——BS 3.0.4 在 Python 2.7.1 上运行正常.更好的是,将您的 Python 升级到 2.7。

【讨论】:

  • uc = html.decode('utf8') 有效,但 soup = BeautifulSoup(uc) 失败并显示我在上面添加的错误消息。
  • 这也是我认为导致问题的 HTML 部分 - 标题标签中的注册符号:&lt;title&gt;Onitsuka Tiger by Asics Ultimate 81® &lt;/title&gt;
  • 我在文档中没有看到任何地方说您可以为其提供 unicode 对象。你试过soup = bs(html, fromEncoding='utf8')吗?这变得乏味。您是否有充分的理由不透露您正在尝试抓取哪个鞋店网站上的哪个页面??
  • 更多问题:(1) ® 是如何在您的 html 的原始字节版本中实际表示的:'\xae'? '\xc2\xae'? '&amp;#174;'?别的东西? (2)当你html.decode('ascii')时会发生什么?
  • 完全没有理由 - 这是链接:6pm.com/onitsuka-tiger-by-asics-ultimate-81。回答您的问题:(1) &amp;#174; 和 (2) 我收到以下错误 Traceback (most recent call last): File "&lt;console&gt;", line 1, in &lt;module&gt; UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 1198: ordinal not in range(128)
【解决方案2】:

我尝试在html上使用pyquery,结果很好。

import urllib
from pyquery import PyQuery

html = urllib.urlopen('http://www.6pm.com/onitsuka-tiger-by-asics-ultimate-81').read()
pq = PyQuery(html)
print pq('span#price').text() # "$39.00 40% off MSRP $65.00"

pyquery是基于lxml的,所以也比beautifulsoup快很多。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-10-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-14
    • 2013-03-10
    • 2016-05-22
    • 2012-06-23
    相关资源
    最近更新 更多