如何抓取源页面中不可见的数据？

Question

基本上我想抓取特定标签的codechef问题，但在这个 link这个页面的所有内容都是动态的，所以现在我很无奈，请帮帮我

Answer 1

我们在 StormCrawler 中使用 jBrowserDriver，这应该允许您以编程方式浏览网站并提取您需要的内容

Answer 2

尝试使用 selenium，它将允许您实时加载页面，从那里获取页面源，然后将页面源 (html) 传递给 jsoup。