Python抓取URL问题

Question

我正在编写一个简单的 python3 脚本来从 Sourceforge.net 中提取尽可能多的公共存储库。我遇到了一个奇怪的问题，我很好奇它为什么会发生：

这是我的代码

#!/usr/bin/env python3

import time
from requests import get
from bs4 import BeautifulSoup

results = []

for i in range(1,100):
    cur = 'http://sourceforge.net/directory/os%3Alinux/freshness%3Arecently-updated/?page=' + str(i)
    #print(cur + '\n')
    r = get(cur.format(i))
    soup = BeautifulSoup(r.text,'html.parser')
    results += soup.find_all('span',{'itemprop': 'name'})
    for result in results:
        print('Found Project: '.join(result.contents))
    time.sleep(.5)
    results = []

当我从 url 中删除 /os%3Alinux/ 以便拥有更广泛的项目时，就会出现问题......当我这样做时，输出是第 1 页的输出。似乎不提取其他页面。有谁知道为什么会这样？我还从其他人那里得到了 r = get(cur.format(i)) 并且很好奇这实际上在做什么。

Answer 1

http://sourceforge.net/directory/freshness%3Arecently-updated/?page=1

不是有效的 URL。它重定向到：

http://sourceforge.net/directory/os:windows/freshness:recently-updated/

因此，当您增加计数器时，您总是会重定向回相同的 URL。

from bs4 import BeautifulSoup
import requests



for page in range(1, 100):
   r  = requests.get("http://sourceforge.net/directory/?page=" + str(page))
   data = r.text
   soup = BeautifulSoup(data, "html.parser")

   print soup.find_all('span',{'itemprop': 'name'})