爬虫与Python：（四）爬虫进阶一之数据抓取——2.Python模拟Ajax

 如何用用Python模拟Ajax请求，我们仍然以飞常准大数据为例（https://data.variflight.com/analytics/CodeQuery），通过查询北京机场的三个字母码“PEK”来请求获取它的数据，把北京机场的信息提取出来。

分析请求和响应结果

详细的Chrome开发者工具使用方法以及“airportCode”的响应请求获取方法不在赘述了。这里直接上分析结果：

• 请求链接：https://data.variflight.com/analytics/Codeapi/airportCode
• 请求方法：POST
• 请求数据：{key:"PEK" , page : 0} 。key就是输入“PEK”要查询的三字码，page是页码。

分析了请求结果，接下来我们分析响应结果如图1所示：

图1

• code：代表响应状态码是失败还是成功。
• data： 我们想要的内容，里面包含了北京机场的相关信息。
• message： 提示信息。

编写代码

下面使用Python的requests库编码代码来模拟数据。首先定义一个方法来获取每次请求的结果。在请求时，key和page是一个可变参数，所以将它们作为方法的参数传递进来，相关示例代码如下：

 1 # 模拟抓取飞常准大数据的机场信息
 2 import json
 3 import requests
 4 
 5 \'\'\'
 6 获取请求数据
 7 @:param key 查询关键字
 8 @:param page 页码（默认为0）
 9 \'\'\'
10 def get_data(key,page = 0):
11     url = "https://data.variflight.com/analytics/Codeapi/airportCode"
12     data = {
13         "key":key,
14         "page" :page
15     }
16     res = requests.request("post",url , data=data)
17     return res.text
18 
19 \'\'\'
20 获取解析结果
21 @:param data
22 \'\'\'
23 def get_parse(data):
24     return json.loads(data)
25 
26 data = get_data("PEK" , 0)
27 apt_info = get_parse(data)
28 print(apt_info,apt_info["data"])

运行结果如下：

 另外，如何将保存的数据存储到数据库或Excel中？将会在后面讲到。