python爬虫1 - 爱码网

1 网页结构

　　html:超文本标记语言------->类似人的鼻子耳朵，长在那里，大体骨架就是那个样子

　　css:层叠样式表------->这个是外观的深化，比如贴个双眼皮，橙色眼睛。。。

　　js:动态脚本语言----->人的技能，跳舞rap

学习网站:w3cshool

2 requests使用

(1)开发环境使用pycharm

(2)爬虫基本原理

　　request---->向服务器发送访问的请求

　　responce---->服务器收到用户请求以后，会验证请求的有效性然后向用户发送响应的内容。客户端收到响应并显示出来。

(3)get post请求方式

　　get：

　　post:

　　　　使用有道翻译网页作为案例，http://fanyi.youdao.com/,按F12进入开发者模式，单击network，此时为空。

　　　　在输入框中输入"中国你好"单击翻译

　　　　单击network---->XHR找到翻译数据

　　　　查看请求方式为post，并可以加那个headers中的URL复制出来，因为post需要自己构建请求头

python爬虫1

　　使用request.post抓取有道翻译的结果

 1 import requests
 2 import json
 3 def get_translate_date(word=None):
 4     url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
 5     Form_data = {'i':word, 'from':'AUTO','to': 'AUTO','smartresult': 'dict', 'client':'fanyideskweb',
 6                     'salt':'1512399450582','sign':'78181ebbdcb38de9b4a3f4cd1d38816b','doctype':'json',
 7                     'version': '2.1','keyfrom':'fanyi.web','action':'FY_BY_CLICKBUTTION','typoResult':'false'}
 8     
 9     response = requests.post(url, data=Form_data)                # 请求表单数据
10     content = json.loads(response.text)   # 将JSON格式字符串转字典
11     print(content)
12     print(content['translateResult'][0][0]['tgt'])             # 打印翻译后的数据
13 if __name__ == '__main__':
14     get_translate_date('中国你好')

View Code