【发布时间】:2014-11-10 15:34:22
【问题描述】:
我正在尝试对网站进行一些 WebScraping,并且数据位于动态加载的容器中。加载似乎是通过 JavaScript 完成的。因此,我需要执行它才能得到它。我已经编写了 2 个版本的程序,一个是 Java 版本,一个是 C# 版本,所以帮助我编写一个版本就足够了。
我目前在 C# 中使用 WebResponse/WebRequest,在 Java 中使用 HttpURLConnection。我必须先登录该网站,这已经很有效了。现在我需要解析内容,以便填充数据并加载容器。有没有一种简单的方法可以通过浏览器控件或已经包含的库来运行 html?
【问题讨论】:
-
您在写问题时是否忽略了所有建议? stackoverflow.com/questions/720678/…
-
我有网站的 HTML 数据,其中的 javascript 尚未解析。通常浏览器会为我完成这项工作。但我不知道,如何在我的程序中做到这一点。我需要一个库来接受登录会话的 cookie 或要解析的 html 数据。
标签: java javascript c# html web-scraping