本次要爬取的网站是：
先上代码:
import requests
from bs4 import BeautifulSoup
import os
import re
def getHtmlurl(url):
try:
r = requests.get(url)
r.raise_for_status()
# 有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。
r.encoding = r.apparent_encoding
# 设置编码格式为 从内容中分析出的相应内容编码方式
return r.text
except:
return "出现异常"
def getimgurl(img):
href = img[\'href\']
url = "http://www.netbian.com" + href
htm = getHtmlurl(url)
soup = BeautifulSoup(htm, \'html.parser\')
# htm 表示被解析的html格式的内容
# html.parser表示解析用的解析器
return soup
def getpic(html):
soup = BeautifulSoup(html, \'html.parser\')
all_img = soup.find(\'div\', class_=\'list\').find(\'ul\').find_all("a", attrs={\'href\': re.compile(\'^((?!http).)*$\'),
\'target\': \'_blank\'})
for img in all_img:
title = img[\'title\']
if title.find(u"女") != -1:
# 你可以自定义规则来筛选你想要的壁纸
print("不符合要求，跳过")
continue
soup1 = getimgurl(img)
im1 = soup1.find(\'div\', id=\'main\').find(\'div\', class_=\'endpage\').find(\'p\').find(\'img\')
img_url = im1[\'src\']
print(img_url)
root = \'D:/pictest2/\'
# 这是你要保存图片的位置
t = title.split()
# 将图片title按空格分开，取第一个空格前的字符作为图片名，这个你可以自己调整
path = root + t[0] + \'.jpg\'
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(img_url)
with open(path, \'wb\') as f:
f.write(r.content)
f.close()
print(\'文件保存成功\')
else:
print(\'文件已存在\')
except Exception as e:
print(str(e))
print(\'爬取失败\')
def getNextpage(html):
soup = BeautifulSoup(html, \'html.parser\')
nextpage = soup.find(\'div\', class_=\'list\').find(\'ul\').find(\'li\', class_=\'nextpage\').find(\'a\')
href = nextpage[\'href\']
url = "http://www.netbian.com" + href
return url
def main():
url = \'http://www.netbian.com/weimei/index.htm\'
for i in range(1, 10):
html = getHtmlurl(url)
print(str(i) + " : ")
getpic(html)
url = getNextpage(html)
if __name__ == \'__main__\':
main()
☞现在我们来分析一下爬取壁纸的步骤：
从做事步骤来看
-
查看网页的源代码，挖掘其特征，找出自己要爬取的部分，对于我们的壁纸爬取，找到的就是图片的网址
-
下载该网址的图片到本地文件中
从编写代码来看
-
得到网页全部源代码
-
从源代码中找到自己要的部分，并想法将它提取出来
-
将图片下载到本地
☞知道我们的目的和思路后，我们来编写代码
-
我们要先得到网页的全部源代码,这里需要用到我们的requests库
def getHtmlurl(url):
try:
r = requests.get(url)
r.raise_for_status()
# 有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。
r.encoding = r.apparent_encoding
# 设置编码格式为 从内容中分析出的相应内容编码方式
return r.text
except:
return "出现异常"
其中requests.get(url)得到的就是网页代码的全部内容，如下截图：
-
在代码中我们所要的就是图片的网址
我们观察这些代码，发现图片都在这里面
不过要注意，网站下拉最后一个不是图片，而是下一页的网址
所以我们在提取的时候要把这最后一个给过滤出去，观察它们<a>标签的不同，可以看出它们有一个显著的区别，就是一个有target标签，一个没有
所以我们可以这样过滤：
all_img = soup.find(\'div\', class_=\'list\').find(\'ul\').find_all("a", attrs={\'target\': \'_blank\'})
这里还有一个要过滤的，如下所示，他点开展示的是另外一组图片
比较它们的区别，可以看到它们的href一个里面包括http,一个不包括，所以我们可以这样过滤
soup = BeautifulSoup(html, \'html.parser\')
all_img = soup.find(\'div\', class_=\'list\').find(\'ul\').find_all("a", attrs={\'href\': re.compile(\'^((?!http).)*$\'),\'target\': \'_blank\'})
这样我们就得到了我们想要的部分，不过事情没有那么简单，如果我们点开img标签里的网址，我们得到的并不是一个高清大图，于是我们继续深入内里
进入<a>标签中的网址，或者直接点击图片，然后我们研究一下跳转后的页面的源代码
现在我们要得到这个img标签里的网址，还是用我们的BeautifulSoup:
soup1 = 通过前一个网页的a标签里的地址得到这个跳转后网页的全部代码 im1 = soup1.find(\'div\', id=\'main\').find(\'div\', class_=\'endpage\').find(\'p\').find(\'img\')
从上面这代码中，我们看出，我们需要通过上一个网页中的a标签来得到这个跳转后的页面的网址，从而通过BeautifulSoup得到这个页面的全部内容，这里我定义了一个方法，传入参数为上一个页面<a>标签里的内容
def getimgurl(img):
href = img[\'href\']
# 这里我们需要拼一下串，因为a标签里的网址不是完整的
url = "http://www.netbian.com" + href
htm = getHtmlurl(url)
soup = BeautifulSoup(htm, \'html.parser\')
# htm 表示被解析的html格式的内容
# html.parser表示解析用的解析器
return soup
-
现在，我们已经离成功不远了，我们得到了图片的网址，现在只要下载下来保存到本地即可
title = img[\'title\']
root = \'D:/pictest/\'
# 这是你要保存图片的位置
t = title.split()
# 将图片title按空格分开，取第一个空格前的字符作为图片名，这个你可以自己调整
path = root + t[0] + \'.jpg\'
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(img_url)
with open(path, \'wb\') as f:
f.write(r.content)
f.close()
print(\'文件保存成功\')
else:
print(\'文件已存在\')
except Exception as e:
print(str(e))
print(\'爬取失败\')
这样我们的入门级爬虫就完成啦，根据个人爱好，你还可以进行壁纸的筛选，譬如我不要美女的壁纸，那我可以这样做
if title.find(u"女") != -1:
# 你可以自定义规则来筛选你想要的壁纸
print("不符合要求，跳过")
continue
听完解释后，再去看一遍源码吧，相信你就有自己打出来的能力了!!!（其中的getNextpage方法的作用是得到下一页的网址，相信你们自己已经可以看懂啦）
最终结果如下：
参考文章：https://blog.csdn.net/xuelucky/article/details/81217906