如何在抓取页面之前等待页面加载？ [关闭]

Question

我想从网页中提取 HTML：

import urllib2
req = urllib2.Request('https://www.example.com')
response = urllib2.urlopen(req)
fullhtml = response.read()

我尝试使用“ulrllib2”，但由于页面是动态构建的，因此 HTML 内容为空。

有没有办法等待 javascript 加载？

Answer 1

看看这个http://phantomjs.org/。大多数网站都是基于 javascript 的，php 或 python 无法执行它们。我认为这个库将是你能得到的最好的。