python3抓取淘宝评论内容

好久没有写爬虫了，今天研究了下淘宝商品评论的内容。

一开始用最简单的方法，挂代理，加请求头，对网页请求，是抓不到数据的，在网上找了一些相关文章，也基本已经过时了，就是网站逻辑有改动，用旧的方法是抓不到的。研究了一下，终于有了结果。

1. 百度->淘宝，进入官网

最后选择男装->西装，进入宝贝详情页。下面开始打开调试模式，快捷键Ctrl + Shift + i

 

 2. 想办法找出评论内容所在地址。

先清空调试栏（点击如下）：

然后刷新页面，Ctrl + R进行刷新。

下面就开始找评论在哪里。首先点击XHR，推测评论是有AJAX展示的，点击后发现不是。

再去Doc里面找找，也不是。那就从All里面一个一个找吧。

嘿，看到了一个东西，有点像：

切，也不对，接着往下找。

坚持不懈地努力下，终于找到了：

下面对这个url进行解析，只要能请求出来，那就没问题了。

3. 首先，直接添加headers，是请求不到的。那怎么办呢？一点点试呗。

最后尝试到，将请求头，请求参数全部加上，然后携带cookie，才能获取到内容，很难受。

因为，实际生产中，一旦需要验证cookie，才能获取正确响应的网站，我个人是没有太好的解决方法，只要抓取过快，就会被封掉。

代码如下：

import re
import requests

headers = {
            \'Referer\': \'https://item.taobao.com/item.htm?spm=a219r.lm874.14.173.2d324edc7BaCKr&id=591671671551&ns=1&abbucket=9\',
            \'User-Agent\': \'请添加自己的useragent\',
            \'cookie\':"这里请添加你自己的cookie"
            }

url = \'https://rate.taobao.com/feedRateList.htm?\'

query_params = {
            \'auctionNumId\': \'569127696985\',
            \'userNumId\': \'2840752540\',
            \'currentPageNum\': \'1\',
            \'pageSize\': \'20\',
            \'rateType\': \'\',
            \'orderType\': \'sort_weight\',
            \'attribute\': \'\',
            \'sku\': \'\',
            \'hasSku\': \'false\',
            \'folded\': \'0\',
            \'ua\': \'098#E1hvhpvEvbQvU9CkvvvvvjiPRFM96jECP2M91j3mPmPv1jYbRFzUljtnPLLytjEHRsKjvpvhvvpvvvhCvvOvUvvvphvEvpCWm2KHvvwzaNoUkC4AVA1lYWmQrEt1pYsptbvqrADn9W2+FfmtEpcyTWexRdIAcUmDYE7reB6k1W29QCyawZ4Q0f0DW3CQog0HsXZpebyCvm9vvvvvphvvvvvv96CvpvB/vvm2phCvhRvvvUnvphvppvvv96CvpCCvkphvC99vvOCzpuyCvv9vvUv0cP8JVvGCvvpvvvvvRphvCvvvvvm5vpvhvvmv99==\',
            \'_ksTS\': \'1563849303999_1462\',
            \'callback\': \'jsonp_tbcrate_reviews_list\'
            }

response = requests.get(url=url, headers=headers, params=query_params).text
print(response)
contents = re.compile(\'"content":"(.*?)"\').findall(response)
for content in contents:
    print(content)

代码没有任何封装，能看就行，不影响交流。至于翻页部分，就不再看了。