Crawler4j、Jsoup 和 JavaScript：提取用 JavaScript 修改的属性值答案

【问题标题】：Crawler4j, Jsoup and JavaScript: extract attribute values modified with JavaScriptCrawler4j、Jsoup 和 JavaScript：提取用 JavaScript 修改的属性值
【发布时间】：2018-03-09 17:43:35
【问题描述】：

我正在使用 Crawler4j 和 Jsoup 来爬取网站，它适用于 HTML 文本，但有一些重要的内容，默认值在 CSS 中硬编码，然后使用 JavaScript 动态设置。例如，我有我需要宽度值，它在 CSS 中被硬编码为 10px，但在 JavaScript 中修改为 5px。

有没有办法在不使用其他爬虫的情况下获取此值？还是一个简单的替代方案？我已经有相当多的代码，所以如果有可能用 Crawler4j 重写，我不想重写所有代码。

我希望我的问题足够清楚，并提前感谢您的帮助！

【问题讨论】：

你希望能够用Jsoup实现你的目标，因为这个工具只能下载静态的html内容。我对 Crawler4j 不熟悉，但我快速浏览了文档并没有发现任何关于执行 javascript 的信息。您应该考虑使用模拟浏览器的工具，即执行 javascript 代码，如 HtmlUnit 或 Selenium
好的，谢谢，我想试试无头浏览器

标签： javascript css web-crawler jsoup crawler4j

【解决方案1】：

crawler4j 和 jsoup 都无法做到这一点。它们都只处理静态 HTML 内容。

官方 GitHub 存储库中有几个与动态 JavaScript 执行相关的未解决问题：#49、#197 和 #220。

为了实现您的目标，您需要基于Selenium、CasperJS 和/或PhantomJS 构建一个堆栈，然后可以将其用于高级抓取，包括 JavaScript 执行。

【讨论】：