【问题标题】:Downloading static web page after client-side scripts load加载客户端脚本后下载静态网页
【发布时间】:2015-05-23 03:15:30
【问题描述】:

我正在寻找一种在客户端 javascript 应用程序完成加载所有 div 后自动下载网页内容的方法。我知道我可以通过浏览器 GUI 保存站点来做到这一点,但我正在寻找命令行或其他脚本方法的解决方案。

我尝试过的东西:curl、wget

有人有建议吗?

【问题讨论】:

  • 您能解释一下为什么 curl 和 wget 无法完成工作吗? wget 应该能够使用 -p -k 选项来做到这一点。
  • @KompjoeFriek 这些工具都没有捕获客户端脚本加载的 div,它们只返回运行 js 应用程序的源代码
  • 好的,我不明白你想包含客户端生成的内容。

标签: javascript html web-scraping client-side


【解决方案1】:

关于在内容加载时(或之前)运行客户端脚本的问题,我已经answered。 如果使用python,你可以试试PyV8插件。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2014-09-04
    • 1970-01-01
    • 1970-01-01
    • 2013-09-03
    • 1970-01-01
    • 1970-01-01
    • 2020-09-01
    相关资源
    最近更新 更多