python实现post请求

今天无论如何都要留下一些什么东西。。。

可以说今天学到一个新的一个东西，也需要分享出来，给更多的人去使用。

今天爬取的数据里面是客户端向服务器端发送加密过的token和一些页码之类的一个数据。（我主要是想通过翻页获取每一页的数据，该网页是通过post去获取的请求，所以需要带一堆的嵾数才会出来数据）。

pyload={"token": "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}

headers={\'Host\': \'usedcar.auto.sina.com.cn\',
\'Connection\': \'keep-alive\',
\'Content-Length\': \'186\',
\'Accept\': \'application/json, text/javascript, */*; q=0.01\',
\'Origin\': \'http://usedcar.auto.sina.com.cn\',
\'X-Requested-With\': \'XMLHttpRequest\',
\'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 UBrowser/6.0.1471.813 Safari/537.36\',
\'Content-Type\': \'application/x-www-form-urlencoded; charset=UTF-8\',
\'Referer\': \'http://usedcar.auto.sina.com.cn/buycar/s/%E8%AF%B7%E8%BE%93%E5%85%A5%E5%93%81%E7%89%8C%E6%88%96%E8%BD%A6%E5%9E%8B\',
\'Accept-Encoding\': \'gzip, deflate\',
\'Accept-Language\': \'zh-CN,zh;q=0.8\',
}

d=requests.post(url,data=payload,headers=headers)

print(d)

然后服务器报错，但是一样的数据在filder里面却是对的，这是什么原因呢？

后来通过requests的官方文档发现，有这么一句话：

很多时候你想要发送的数据并非编码为表单形式的。如果你传递一个 string 而不是一个 dict，那么数据会被直接发布出去。

通过抓包软件fillder去看看我在pycharm里面请求和在fillder里面请求的东西来看，最后返回来的数据的形式完全就是不一样了，所以对应正确的格式，我把其转换为string，得出结果和正确一样的，

可以正确返回的表单的值是这样子的：

{"token":"2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb","sign":"700eae16811bd1844e21c31c3ed0f5b0","page":"3","order":"0","limit":"12","map":""}

然后我的目的就是把那些参数化为输出为上面的数据那样子。

所以最后形式为以下那样子：

payload = \'{"token":\'+\' "2280d841c47074107bb903169cd78d4d0a1345970ec6380d0909efc7e77a25cb"\'+\',"sign":\'+\'"700eae16811bd1844e21c31c3ed0f5b0"\'+\',"page":\'+\'"3"\'+\',"order":\'+\'"0"\'+\',"limit":\'+\'"12"\'+\',"map":\'+\'""\'+\'}\'

接下来发现又是一个很尴尬的事情，服务器直接报错，504错误，开始还去找这是什么原因，后来在网上看到是这样子说的：

wireshark抓包发现：

用reqeusts和curl发送的数据都是一样的，但是，curl有带一个header："Content-Type": "application/x-www-form-urlencoded"

看来requests也需要加上这个头：

headers = {"Content-Type": "application/x-www-form-urlencoded"}

最后我把我内容的headers换成以上headers，结果还真的是成功了。

虽然为什么是那个头，我还真的不知道是什么一个的原因。后续知道会陆续去更新的。

马上看完文档发现一个问题，就马上来记下来，在新的版本的requests里面，除了对dict格式去编码以外，还可以使用json格式直接去传递，然后它就会被自动编码。这是 2.4.2 版的新加功能：

d=requests.post(url,json=data,headers=headers)
print d
print d.text

总结：这样子是不是很简单就可以去实现了呢，而不需要转换为string之类的呢，看来东西需要不断的去发现的。