BeautifulSoup解析数据的用法很简单,请看下图:
在括号中,要输入两个参数,第0个参数是要被解析的文本,注意了,它必须必须必须是字符串。
括号中的第1个参数用来标识解析器,我们要用的是一个Python内置库:html.parser。(它不是唯一的解析器,却是简单的那个)
from bs4 import BeautifulSoup
res = requests.get('')
# 把网页解析为BeautifulSoup对象
soup = BeautifulSoup(res.text,'html.parser')
我们仍然使用BeautifulSoup来提取数据。
这一步,又可以分为两部分知识:find()与find_all(),以及Tag对象(标签对象)。
find()运行结果正是首个div元素吧!我们还打印了它的数据类型:<class 'bs4.element.Tag'>,说明这是一个Tag类标签对象。
find_all()运行结果是那三个div元素,它们一起组成了一个列表结构。打印items的类型,显示的是<class 'bs4.element.ResultSet'>,是一个ResultSet类的对象。其实是Tag对象以列表结构储存了起来,可以把它当做列表来处理。
看看Tag类对象的常用属性和方法
我们用Tag.text提出Tag对象中的文字,用Tag['href']提取出URL。
请看下图: