在抓取亚马逊评论详情时,其它的数据都能准确抓取到,但视频的url却一直返回空列表。Xpath经过反复确认也没有任何问题,最后发现是通过requests抓取到的html的结构发生了变化。

       浏览器上的:

        爬取亚马逊评论的视频url

       抓取到的html:

       爬取亚马逊评论的视频url

      将xpath进行相应修改就可以成功抓取了!

相关文章: