Python BS4 find() find_all() 返回空列表

Question

嘿，我正在尝试抓取一个网站https://www.dawn.com/pakistan，但 python find() find_all() 方法返回空列表，我尝试了 html5.parser、html5lib 和 lxml 仍然没有运气。 我试图抓取的类存在于源代码和汤对象中，但似乎没有工作，任何帮助将不胜感激，谢谢！

代码：

from bs4 import BeautifulSoup 

import lxml

import html5lib

import urllib.request

url1 = 'https://www.dawn.com/pakistan'


req = urllib.request.Request(
    url1, 
    data=None, 
    headers=
{
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
}
                        )
url1UrlContent=urllib.request.urlopen(req).read()
soup1=BeautifulSoup(url1UrlContent,'lxml')

url1Section1=soup1.find_all('h2', class_='story__title-size-five-text-black- 
font--playfair-display')
print(url1Section1)

Answer 1

你的应该也可以（我使用了不同的语法）。但这是您拥有的字符串不匹配。

你有：'story__title-size-five-text-black- font--playfair-display'

我有：'story__title size-five text-black font--playfair-display ' 差别很小

替换：

url1Section1=soup1.find_all('h2', class_='story__title-size-five-text-black- font--playfair-display')

与：

url1Section1=soup1.find_all('h2', {'class':'story__title size-five text-black font--playfair-display '})

看看有没有帮助

Answer 2

我认为你不能像这样传递复合类名。我使用这些是复合类名。我使用 css 选择器作为一种更快的检索方法。复合词用“.”填充。

如果您在标题之后，您可以使用稍微不同的选择器组合

import requests
from bs4 import BeautifulSoup

url= 'https://www.dawn.com/pakistan'
res = requests.get(url)
soup = BeautifulSoup(res.content, "lxml")
items = [item.text.strip() for item in soup.select('h2[data-layout=story] a')]
print(items)

要限制在左边你可以使用的那些：

items = [item.text.strip() for item in soup.select('.story__title.size-five.text-black.font--playfair-display a' )]

更广泛地说，

items = [item.text.strip() for item in soup.select('article [data-layout=story]')] 

---

根据您的评论：

items = [item.text.strip() for item in soup.select('.col-sm-6.col-12')]