Python3.4 获取百度网页源码并保存在本地文件中

最近学习python

版本 3.4

抓取网页源码并且保存在本地文件中

 

import urllib.request

url='http://www.baidu.com'

#上面的url一定要写明确，如果写成www.baidu.com,下一步就会报错。
response=urllib.request.urlopen(url)
#下一步获取html,但是是Byte格式的，我们要解码
html=response.read()
html_str=html.decode('utf-8')

#下面我们把get的网页写在文件中。
f=open(r'D:\baidu.html','w',encoding='utf-8')

f=write(html_str)
#写完别忘记关闭
f.close()

 

string和byte类型相互转换

 

str.encode('utf-8')

byte.decode('utf-8')