使用 python 和 Beautiful Soup 遍历站点的页面

Question

有没有办法遍历格式为的页面档案

'http://base_url/page=#' - 其中 # 是第 2 个页码？

理想情况下，我想在“base_url”之后的每个连续页面上部署我的爬虫

是python中的一个函数或for循环，其中base_url将被迭代：

page = i in range(nth)
base_url ='http://base_url/page={}'

例如http://www.businessinsider.com/?page=3 与 http://www.businessinsider.com/

Answer 1

您可以像这样请求每个页面：

# python 2
from urllib2 import urlopen
# python 3
from urllib.request import urlopen

base_url = "http://example.com/"

# request page 1 through 10
n = 10
for i in range(1, n+1):
    if (i == 1):
        # handle first page
        response = urlopen(base_url)
    response = urlopen(base_url + "?page=%d" % i)

    data = response.read()
    # handle data here

编辑：urlopen() 返回一个 HTTPResponse 或 addinfourl 对象（取决于您的 Python 版本） - 您需要调用 .read() 以获取数据字符串。 （我也更新了上面的示例代码）。