java html解析器不读取所有页面

Question

我正在解析html页面来获取具体信息，但是有些页面我无法获取网页上显示的所有信息，例如在this page中

我无法获取评论信息。 顺便说一句，如果你看到页面的源代码有很多空行，并且没有出现评论信息。

你知道为什么吗？ 一些图书馆可以阅读这种类型的页面？

谢谢

Answer 1

我敢打赌，他们正在使用某种 javascript 来加载评论信息。为了访问该信息，您将需要以某种方式模仿请求或评估 javascript，然后解析结果页面。我建议检查他们的 javascript 并模仿他们用来下载评论信息的请求，因为这比尝试评估代码中的 javascript 容易得多。