如何爬取ajax生成的网页？ [关闭]

【问题标题】：How to crawl an ajax generate web page? [closed]如何爬取ajax生成的网页？ [关闭]
【发布时间】：2016-04-30 08:03:46
【问题描述】：

我已经尝试爬取https://world.taobao.com/search/search.htm?cat=50008090&_ksTS=1461999216322_20&spm=a21bp.7806943.banner_XX_cat.13.UxfRzO&_input_charset=utf-8&navigator=all&json=on&callback=__jsonp_cb&cna=CKNtDjuNxTgCAdIGQMzvfvwH&abtest=_AB-LR517-LR854-LR895-PR517-PR854-PV895_2462

但不成功，响应页面来源与查看页面不匹配，有谁知道怎么办？谢谢

【问题讨论】：

  • 你用的是哪个爬虫？
  • 我试过php-curl，谢谢回复
  • php-curl 不能解决这个问题，因为 php 不能执行 JS 代码。您必须使用像 phantomjs 这样的库来捕获 JS 加载的内容
  • 谢谢，我会试试的

标签： php python web-crawler


【解决方案1】：

您将不得不使用一些可以捕获 JS 内容的库，这就是 php-curl 在这里不起作用的原因。

您可以使用各种库，例如phantomjs、casperjs

【讨论】：

    猜你喜欢
    • 1970-01-01
    • 2014-09-22
    • 1970-01-01
    • 2016-01-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode