如何使用 Python urllib 和 bs4 抓取 ajax 网站产品？

Question

我正在尝试使用 urllib + bs4 来抓取 naturebox 的网站。

我想创建一个投票网络应用程序，以便我的办公室每个月都可以为来自 naturebox 的新零食投票。

理想情况下，我想从 naturebox 的网站上下载零食，因为它们经常更换。

这是我的代码：

 import urllib2,cookielib

site = 'http://www.naturebox.com/browse/'
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}

req = urllib2.Request(site, headers=hdr)

try:
    page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.fp.read()

content = page.read()
print content

但输出只是 javascript，没有实际零食的数据（图片、名称、描述等）

显然我是个菜鸟 - 我如何获得这些数据？

Answer 1

您可以使用 Selenium Webdriver。这将允许您加载站点，包括 javascript/ajax，并从那里访问 html。另外，请尝试使用 PhantomJS，以便它可以在后台不可见地运行。