第一次算是成功的爬虫小代码，花了挺长时间的。
目的：
获取淘宝mm图片
现存问题：
无法获取动态加载的图片，只能得到打开网页后存在的图片
虽然更换代理仍禁止访问
收获：
对爬虫的思路相对来说更清晰了——想爬什么，这东西有什么规律，怎么体现在网页上的，如何抓取
增强了对python基础知识的掌握 1，文件写入的方法 2，json被加载时所需要的条件 3，列表，元组，字典
4，网络请求的基本操作 5，基础的应对反爬机制的方法
1 import json
2 import urllib.response
3 import urllib.request
4 import re
5 import random
6 from json import loads
7 import os
8
9 #请求头数组
10 headerstr = \'\'\'Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1
11 Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11
12 Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)\'\'\'
13 #获取请求头
14 def headers():
15 header = headerstr.split(\'\n\')
16 length = len(header)
17 return header[random.randint(0,length-1)]
18
19 #返回基本信息和user_id
20 def getUrlList():
21 req = urllib.request.Request(\'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8\')
22 req.add_header(\'User-Agent\', headers())
23 html = urllib.request.urlopen(req).read().decode(\'gbk\')
24
25 #加载json，html解码后才能加载到json中
26 # 注：目前只知道{}内的可以转成json，其余情况未知
27 # 注：[]是列表,()是元组，{}是字典
28 json = loads(html)
29
30 return json[\'data\'][\'searchDOList\']
31
32
33 #获取mm相册的代号所在的url
34 def getAlbumCode(userId):
35 req = urllib.request.Request(\'https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%%20=%s\' % userId)
36 req.add_header(\'User-Agent\', headers())
37 html = urllib.request.urlopen(req).read().decode(\'gbk\')
38 reg = r\'class="mm-first" href="//(.*?)"\'
39
40 return re.findall(reg, html)[::2]
41
42
43 #获取mm相册的代号
44 def getAlbumInner(code):
45 reg = \'\d+\'
46 result= re.findall(reg,code)
47 return result[1]
48
49
50 #获取图片地址并保存图片到个人文件夹
51 def getpic(userId,album_id,Album_num,content):
52 #因为下滑可以加载图片，准备将page=1,2,3...的情况做出来，但目前而言由于未知的错误而无法进入page=2的情况，所以暂时搁浅，只选了page=1的情况
53 #这里的page无多少意义，可以忽略
54 page=1
55
56 #index表示下面for循环中在json[\'picList\']的列表中每个元素的指针
57 index = 0
58
59 req = urllib.request.Request(\'https://mm.taobao.com/album/json/get_album_photo_list.htm?user_id=%s&album_id=%s&page=1\'%(userId,album_id))
60 req.add_header(\'User-Agent\', headers())
61 html = urllib.request.urlopen(req,timeout=5).read(
62 ).decode(\'gbk\')
63 json = loads(html)
64
65 #json[\'picList\']是一个列表，要通过循环遍历出来每个元素
66 for it in json[\'picList\']:
67 index += 1
68
69 #通过比较url发现大图与小图之间的差距在于290与620，所以直接替换就可以啦
70 picUrl=re.sub(\'290\',\'620\',it[\'picUrl\'])
71
72 #获得的url无法直接写入文件，观察后发现直接加http:就行了
73 pic = \'http:\'+picUrl
74
75 #open打开的是将要写入的文件的绝对路径或者说是相对路径
76 contex = urllib.request.urlopen(pic).read()
77 with open(content+"\\"+str(Album_num)+\'-\'+str(page)+\'-\'+str(index)+".jpg",\'wb\') as f:
78
79 f.write(contex)
80
81 #先加个代理
82 proxy_support = urllib.request.ProxyHandler({\'http\': \'124.93.87.140:80\'})
83 opener = urllib.request.build_opener(proxy_support)
84 urllib.request.install_opener(opener)
85
86 json = getUrlList()
87 for i in json:
88 userId = i[\'userId\']
89 realName = i[\'realName\']
90 city = i[\'city\']
91 height = i[\'height\']
92 weight = i[\'weight\']
93 print (u\'发现一位美女，她的名字叫：\' +realName, \'身高：\'+height + \'m\',\'体重：\'+ weight + \'kg\',u\'她现在的居住在-\' + city)
94 # 根据mm名字创建文件夹
95 content = \'E:\\demo\\\' + realName
96 if not os.path.exists(content):
97 os.mkdir(content)
98 print(\'正在为\'+realName+\'创建文件夹...\')
99 #mm的第Album_num个相册
100 Album_num = 0
101 print(\'正在为你悄咪咪的保存她的图片...\')
102 for j in getAlbumCode(userId):
103 code = j
104 album_id=getAlbumInner(code)
105 Album_num+=1
106 getpic(userId, album_id, Album_num,content)
107 print(realName+\'的图片已经保存成功啦！\')