BeautifulSoup find_all 方法没有泛化

Question

我有点纠结于 BeautifulSoup 的问题。这段代码是我正在尝试调试的函数的 sn-p。刮刀工作正常，突然停了下来。奇怪的是，我正在搜索“ipsColumn ipsColumn_fluid”的类在循环的第二步生成的“post_soup”文件中。

作为调试的一部分，我想看看生成了什么是文本文件的原因。然而，它是空的。我不知道为什么。

有什么想法吗？

post_pages = ['https://coffeeforums.co.uk/topic/4843-a-little-thank-you/', 'https://coffeeforums.co.uk/topic/58690-for-sale-area-rules-changes-important/']

for topic_url in post_pages:
    post_page = urlopen(topic_url)
    post_soup = BeautifulSoup(post_page, 'lxml')
    messy_posts = post_soup.find_all('div',  class_='ipsColumn ipsColumn_fluid')
    with open('messy_posts.txt', 'w') as f:
        f.write(str(messy_posts))

编辑：您可以交换此变量以查看它应该如何工作。这些网站建立在同一个平台上，所以抓取应该是相同的（我认为）：

post_pages = ['https://forum.cardealermagazine.co.uk/topic/8603-customer-comms-and-the-virus/', 'https://forum.cardealermagazine.co.uk/topic/10096-volvo-issue-heads-up/']

Answer 1

class_ 接受多个类的列表，而不是 OR 操作的字符串。您可以将其更改为

 class_='ipsColumn ipsColumn_fluid'

到此为止，它应该可以工作。

class_=['ipsColumn', 'ipsColumn_fluid']

它应该可以工作。

或者，如果您要使用 AND（您想要一个包含两个类的 div）。我建议你这样使用select：

post_soup.select('div.ipsColumn.ipsColumn_fluid')

这将返回包含两个类的 div