【问题标题】:How to scrape ajax loaded division? [closed]如何抓取ajax加载的分区? [关闭]
【发布时间】:2015-10-23 00:19:53
【问题描述】:

标题说明了一切。请给我一些方法来了解如何抓取 AJAX 加载的分区。

有一个网站有产品网格部门。我希望这个部门从中废弃数据,但问题是当我在另一个 html 页面中获取页面内容数据时,没有产品网格,因为它是在一段时间后通过 AJAX 加载的。对于报废,我用 PHP 尝试了 Perl 和 CURL。

提前致谢。

【问题讨论】:

  • 你想抓取哪个页面(url)?
  • PHPhil 抱歉我不能声明 url
  • @SinanÜnür 谢谢你的建议,但你不了解我,你必须尊重每一位程序员,即使他/她更新鲜。我只想知道如何抓取加载 AJAX 的分区。当我打印该页面内容时,我无法获得该部门 ID。我正在废弃过去 4 个月的数据,所以我有足够的技能来做到这一点。如果您不知道答案,请不要发表评论。

标签: php ajax perl curl simple-html-dom


【解决方案1】:

来自WWW::Mechanize::FAQ

哪些模块像 Mechanize 一样工作并且支持 JavaScript?

排名不分先后:Gtk2::WebKit::Mechanize、Win32::IE::Mechanize、 WWW::Mechanize::Firefox, WWW::Scripter, WWW::Selenium

另见:How do you scrape AJAX pages?

【讨论】:

    【解决方案2】:

    使用Selenium,例如通过Selenium::Remote::Driver,您将使用真实的浏览器访问该站点。网站可能对浏览器行为的细微差别非常敏感。

    【讨论】:

    • 我不知道如何使用它。你能帮帮我吗?
    • 看工资...
    猜你喜欢
    • 2014-01-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多