关于 urlencode 的使用和 json 模块的介绍

先附上一段 “百度翻译” 的爬虫代码

# python爬虫实现百度翻译
# urllib和request POST参数提交
from urllib import request,parse
import json

def fanyi(keyword):
    base_url = \'https://fanyi.baidu.com/sug\'
    # 构建请求对象
    data = {\'kw\': keyword}
    data = parse.urlencode(data).encode(\'utf-8\')
    # 模拟浏览器
    header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    req = request.Request(url=base_url,data=data,headers=header)  
    res = request.urlopen(req)

    # 获取响应的json字符串
    str_json = res.read().decode(\'utf-8\')
    # 把json转换成字典
    myjson = json.loads(str_json)  # 将字符串转化为字典
    info = myjson[\'data\'][0][\'v\']
    print(info)

if __name__==\'__main__\':
    while True:
        keyword = input(\'请输入翻译的单词：\')
        if keyword == \'q\':
            break
        fanyi(keyword)

1. 其中，data = parse.urlencode(data).encode(\'utf-8\') 的作用是，将字典里面所有的键值转化为 query-string 格式（key=value&key=value），并且将中文转码。

2. 然后，req = request.Request(url=base_url,data=data,headers=header)的作用是，将base_url, data, headers 拼接成一个请求的 url, 命名为 req。

注：在这里要仔细介绍一下 python3 的编码问题。（看了好多资料才明白）

      参考 https://blog.csdn.net/xiaofan_0208/article/details/77366363

              https://blog.csdn.net/apache0554/article/details/53889253

　　　　data = parse.urlencode(data).encode(\'utf-8\') ，是将data转化为 utf-8格式的编码。decode()都是将其他编码转换为Unicode编码。

 

3. myjson = json.loads(str_json) 的作用是，将字符串转化为字典，因为从浏览器读取出来的内容都是字符串格式。

    编码和解码JSON数据的两个主要的函数是 json.dumps() 和 json.loads()。参考本片文章：https://blog.csdn.net/liangxy2014/article/details/78984998

import json

data = {
\'name\' : \'ACME\',
\'shares\' : 100,
\'price\' : 542.23
}
json_str = json.dumps(data)   # 将字典编码成 json 格式
data = json.loads(json_str)   # 将 json文本 解码成字典格式