使用 Python 解析多个网页

【问题标题】：Parsing of multiple webpages using Python使用 Python 解析多个网页
【发布时间】：2014-06-24 21:03:04
【问题描述】：

我正在尝试解析多个网页以提取特定的文本和图像。到目前为止，我已经能够解析一个页面，但我正在寻找一种在以下链接中的所有页面上运行脚本的方法：http://www.bbc.co.uk/food/recipes/search?cuisines[]=british（其中有 108 个）。

我基本上需要图像，以及它们旁边的文字。

【问题讨论】：

太好了。你有问题吗？

标签： python web-scraping

【解决方案1】：

在我意识到你只需要一个 for 循环之前，我在这方面付出了太多的努力。

这是同一页面的 url，只是这次以页码作为参数：

http://www.bbc.co.uk/food/recipes/search?page=1&cuisines[0]=british&sortBy=lastModified

更改页码，您将能够获得全部 108 个。

for i in range(1,109):
    url = "http://www.bbc.co.uk/food/recipes/search?page={pagenum}&cuisines[0]=british&sortBy=lastModified".format(pagenum = i)
    doYourThing(url)

【讨论】：

非常感谢 ToonAlfrink - 这正是我所需要的！