BeautifulSoup 解析返回空集

Question

（更新代码就在下面）

我有一个类：UrlData，它会生成一个 url 列表：

for url in urls:
    rawMechSiteInfo = mech.open(url)  #mechanize browse each url
    mech_response = mech.response()
    headers = mech_response.info()
    print "headers ", headers.getheader('Content-Type').encode('utf-8')
return

这一行：print "headers ", headers.getheader('Content-Type').encode('utf-8')

什么都不输出

如果我在我的view 中执行print url_data.url_list()，它会抛出：

<Scan.urldata.UrlData object at 0x103e73f50>

我只是想解析一个 html 标记的 src，例如：

<div class="s">
   <div>
      <div class="f kv" style="white-space:nowrap">
         <cite class="vurls">www.somewebsite.com/</cite>‎
      </div>
   </div>
</div>

以下正在工作解析整个文档：

HarvestLinks = 'h3',attrs={'class': 'r'}

或

HarvestLinks = BSObjOfUrl.find('cite','vurls')

它似乎工作正常，但最后只返回一个结果并且有多个。

感谢迄今为止尝试提供帮助的人，还有其他想法吗？

Answer 1

检查 headers 变量的输出并报告，您似乎仍然有错误的编码：

def url_list(self):
    #setup mechanize
    ###
    ### Mechanize settings are here.
    ###

    for url in urls:
        rawMechSiteInfo = mech.open(url)  #mechanize browse each url
        mech_response = mech.response()
        headers = mech_response.info()
        print "headers ", headers.getheader('Content-Type')
        #results = unicode(mech_response.read()) 
        #BSObjOfUrl = BeautifulSoup(results)
        #HarvestLinks = BSObjOfUrl.find_all(u'cite', class_='vurls')
    #return HarvestLinks
    return

Answer 2

查看文档，attrs 是一个设计不佳的参数，应该更像是一个 **kwargs。

http://www.crummy.com/software/BeautifulSoup/bs4/doc/#searching-by-css-class表示你确实想通过class_kwarg：

>>> from bs4 import BeautifulSoup
>>> src = """ <div class="s">
...    <div>
...       <div class="f kv" style="white-space:nowrap">
...          <cite class="vurls">www.somewebsite.com/</cite>\U+200E
...       </div>
...    </div>
... </div>
...
... """
>>> soup = BeautifulSoup(src)
>>> soup.find_all('cite')
[<cite class="vurls">www.somewebsite.com/</cite>]
>>> soup.find_all('cite', attr={'class': 'vurls'})
[]
>>> soup.find_all('cite', class_='vurls')
[<cite class="vurls">www.somewebsite.com/</cite>]

Answer 3

我以前从未使用过mechanize，我一直在使用urllib2 和beautifulsoup4。 我多次遇到编码和解码问题。也许我的一些经验会有所帮助。

当您从页面读取文本时，elem.text，默认始终是 unicode。有时人们有好运直接将 unicode 打印到屏幕上，一切都很好。有时，控制台不会正确显示 unicode。这表明两件事：

1. 你已经准备好里面的数据了，唯一的问题是你想在IDE（Eclipse，Pycharm，..etc）中看到它是行不通的。您可以在不执行任何操作的情况下将 unicode 写入数据库或文件，有时当您在 IDE 之外看到数据时，它会正确显示。

2. 如果您想在编写代码时首先看到文本（谁不想？）您可以print elem.text.encode('utf-8')，我总是很幸运。