乱码问题描述
在爬取网页时,出现中文乱码情况,如下图:
原因:源网页编码和爬取下来后的编码格式不一致
利用encode和decode解决乱码问题
字符串在python内部的表示是Unicode编码,在做编码转换时,通常需要以Unicode作为中间编码,即先将其他编码的字符串解码(decode)成Unicode,再从Unicode编码(encode)成另一种编码
decode的作用是将其他编码的字符串转换成Unicode编码,如str1.decode(“gb2312”),表示将gb2312编码的字符串str1转换成Unicode编码
encode的作用是将Unicode编码转换成其他编码的字符串,如str2.encode(“utf-8”),表示将Unicode编码的字符串str2转换成utf-8编码
decode中写的是想爬取的源网页的编码,或者文本文件的编码,encode是自己想设置的编码