python爬取有道词典

一、网页分析

打开Google浏览器，找的有道词典的翻译网页（http://fanyi.youdao.com/）

打开后摁F12打开开发者模式，找Network选项卡，点击Network选项卡，然后刷新一下网页

然后翻译一段文字，随便啥都行（我用的程序员的传统：hello world），然后点击翻译

在选项卡中找到以translate开头的post文件

 

上面标注的，写代码时要用

 

 

记住 User-Agent，用来伪装浏览器请求

 

 

 这些是需要提交的参数。

 

好，准备工作做完了，接下来开始干正事了

二、代码演示

# ！/usr/bin/python3
# -*- coding: utf-8 -*-
import json
import requests

while True: #无限循环
    content = input("请输入您要翻译的内容(输入 !!! 退出程序): ")
    #设置退出条件
    if content == \'!!!\':
        break

    url = \'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule\' #选择要爬取的网页，上面找过了
    # 手动替换一下
    header = {\'user-agent\':\'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36\'}

    #伪装计算机提交翻译申请（下面的内容也在在上面有过，最好根据自己的进行修改）
    data = {}
    data[\'type\'] = \'AUTO\'
    data[\'i\'] = content
    data[\'doctype\'] = \'json\'
    data[\'version\'] = \'2.1\'
    data[\'keyfrom:\'] = \'fanyi.web\'
    data[\'ue\'] = \'UTF-8\'
    data[\'typoResult\'] = \'true\'
    # post请求
    response = requests.post(url,headers=header,data=data)
    # 解码
    html = response.content.decode(\'utf-8\')
    # 转换为字典
    paper = json.loads(html)

    #打印翻译结果
    print("翻译结果: %s" % (paper[\'translateResult\'][0][0][\'tgt\']))

View Code

执行代码，效果如下：

 

 

 

本文参考链接：

https://blog.csdn.net/Spiderman_Feng/article/details/110675766