使用 jsoup 解析购物网站答案

【问题标题】：Parsing shopping websites usign jsoup使用 jsoup 解析购物网站
【发布时间】：2016-01-30 04:04:00
【问题描述】：

我有以下代码：

doc = Jsoup.connect("http://www.amazon.com/gp/goldbox").userAgent("Mozilla").timeout(5000).get();

  Elements hrefs = doc.select("div.a-row.layer");
  System.out.println("Results:"+ hrefs); //I am trying to print out contents but not able to see the output.

问题：想要在类名为“a-row layer”的 div 中显示所有图像 src。但是，我无法看到输出。

我的查询有什么错误？

【问题讨论】：

标签： java html-parsing jsoup html-parser

【解决方案1】：

我已经查看了该网站并自己进行了测试。问题似乎是您要提取的那段 html 代码 (div.a-row.layer) 是由 JavaScript 生成的。

Jsoup 不支持 JavaScript，无法解析由它生成的那些。你需要一个headless web browser来处理这个问题，比如HTMLUnit。

【讨论】：

感谢您的建议。