使用 python 和 beautifulsoup 搜索解析的网页时出错答案

【问题标题】：Error when searching parsed webpage with python and beautifulsoup使用 python 和 beautifulsoup 搜索解析的网页时出错
【发布时间】：2012-02-06 10:58:36
【问题描述】：

我正在登录一个站点，进行搜索查询，然后使用 beautifulsoup 过滤结果以获取“b”标签中的所有术语。从结果中我想检查搜索词（测试）是否存在。我当前的代码如下。我遇到的问题是，即使有结果并且存在该术语，我仍然得到一个不存在的响应。我已经打印了过滤后的查询并通读了它，结果肯定在那里，所以错误在搜索部分。我认为问题在于，在 html 中，testing 这个词本身并不是它的 Testing.example 或 Testing.test，因此搜索无法通过它自身被空格包围来找到它。如何在较长的单词/短语中搜索单词/短语。

我需要在“example.Testing.example”或“test.Testing.example”中找到“Testing”

希望这是有道理的。

谢谢

words = ["Testing"]
br.open ('http://www.example.com/browse.php?psec=2&search=%s' % words)
html = br.response().read()
soup = BeautifulSoup(html)
filtered = soup.findAll('b')

# print filtered

for word in words:
    if word in filtered:
        print "%s found." % word
    else:
        print "%s not found." % word

编辑

[<b><a title="Unknown">---</a></b>, <b>Welcome Back<br /><a href="/user/"><
span style="color:#0080FF;"></span></a>!<br /></b>, <b><span class="smallfo
nt"><a href="/messages.php?action=viewmailbox"><img height="14px" style="border:
none" alt="inbox" title="inbox (no new messages)" src="/pic/pn_inbox.gif" /></a>
59 (0 New)</span></b>, <b><span class="smallfont">&nbsp;&nbsp;<a href="/message
s.php?action=viewmailbox&amp;box=-1"><img height="14px" style="border:none" alt=
"sentbox" title="sentbox" src="/pic/pn_sentbox.gif" /></a> 37</span></b>, <b>Sho
w all</b>, <b><< Prev</b>, <b>Next >></b>, <b>1&nbsp;-&nbsp;7</b>, **<b>The.Testing
.example.T3Z6.L</b>**, <b><span style="color:#FF5500;">dgHn</span
></b>, <b><a href="/details.php?id=15829&amp;hit=1&amp;filelist=1">1</a></b>, <b
><a href="/details.php?id=15829&amp;hit=1&amp;=1"><font>30</font></a></
b>, <b><a href="/details.php?id=15829&amp;hit=1&amp;todlers=1">1</a></b>,

当我打印过滤后，我得到了上述结果。它稍长，但你明白了。从 **s 底部开始的五行，您会看到应该是正数但不是正数的结果。

【问题讨论】：

当你打印出filtered的值是什么？能够添加print 语句（或函数）以显示中间结果非常重要。
@S.Lott 我编辑了我的问题并添加到打印结果中。

标签： python beautifulsoup

【解决方案1】：

我相信你想要更像下面的东西

words = ["Testing"]
br.open ('http://www.example.com/browse.php?psec=2&search=%s' % words)
html = br.response().read()
soup = BeautifulSoup(html)
filtered = soup.findAll('b')
"""element.contents[0] gives you the  first element inside the <b> tags
If you want some other part of inside the b tag see  
BeatifulSoup documentation at the line below """
filteredcontents = [element.contents[0] for element in filtered]

for word in words:
    if any(word in filteredcontent for filteredcontent in filteredcontents):
        print "%s found." % word
    else:
        print "%s not found." % word

BeatifulSoup 文档可用 here

【讨论】：

谢谢。这完美地工作，你的解释是有道理的。谢谢。

【解决方案2】：

告诫讲师：我不了解 BeautifulSoup 的细节。

filtered 是b 元素的列表。你错过了一个级别。试试这个：

for word in words:
    for b_elt in filtered:
        if word in b_elt: # or word in b_elt.text or suchlike
            print "%s found." % word

【讨论】：

为每个元素返回“未找到”“找到”。所以就像 11 没有找到或者有多少 b 元素。然而，它仍然会产生假阴性。我只需要它来进行整体搜索。
@Michael：在我提供的 4 行代码中，我没有看到“未找到”。请解释！
我添加了一个 not found 来说明它没有找到的情况。我用另一种方式解决了这个问题。谢谢

【解决方案3】：

filtered = soup.findAll('b')

会给你类似[one, two]的结果。

您需要将过滤后的内容与单词进行比较

你可以试试这样的：

soup.findAll(text=words)

【讨论】：