Python 3.3, Beautiful Soup 4, 503 和 Reiteration

Question

在我的项目中，我发现了两个问题：

1. 8/10 次我收到HTTP Error 503: Service Temporarily Unavailable。
2. 我是否正确地执行了重复？

我需要寻找一个名为 class="torType" 的类，然后只获取链接 URL，我有它的工作方式，但我做得对吗？

#import urllib.request
#from bs4 import BeautifulSoup
WebUrl = 'http://kickasstorrents.come.in/tv/'

def RetrieveWebData(MyUrl):
     try:
         opener = urllib.request.build_opener()
         opener.addheaders =[('User-agent','Mozilla/5.0')]
         url = (MyUrl)
         page = opener.open(url).read()
         return page
    except OSError as e:
        print("An error occurred reading the webpage ",e)


def FilterWebData(RawData):
    try:
        soup = BeautifulSoup(RawData)
        TorData = soup.find_all("a", {"class" : "torType"})
        soup = BeautifulSoup(str(TorData))
        for link in soup.find_all('a'):
            RecentTors = link.get('href')
        return RecentTors

    except OSError as e:
        print("An error occurred during filtering",e)


RawPage = RetrieveWebData(WebUrl)
RecentTorrentLinks = FilterWebData(RawPage)


print(RecentTorrentLinks)

Answer 1

您看到的 503 错误可能是由于服务器速率限制您，请减少访问服务器的频率。

循环不正确；直接循环 TorData 对象。您也可以将搜索限制为仅具有 href 属性的那些 a 链接：

soup = BeautifulSoup(RawData)
TorData = soup.find_all("a", {"class" : "torType", 'href': True})
return [link['href'] for link in TorData]

Answer 2

您遇到的间歇性 HTTP 503 错误与给定 URL 上的高负载有关。

您可能希望将其添加到 RetrieveWebData() 的 except 块中：

    if e.code == 503:
        return RetrieveWebData(MyUrl)

当它由于某种原因失败时，该函数将再次递归调用自身，直到它没有收到 HTTP 503 错误。

此外，这条FilterWebData() 行是错误的：

        RecentTors = link.get('href')

每次迭代都会覆盖 RecentTors 变量。你真的很想做这样的事情：

    RecentTors = []
    for link in soup.find_all('a'):
        RecentTors += [link.get('href')]
    return RecentTors

我建议您使用最快的lxml 模块来利用 XPath：

def FilterWebData(RawData):
    try:
        TorData = []

        for RecentTor in etree.HTML(RawData).xpath("//a[contains(@class, 'torType')]"):
            TorData += [RecentTor.attrib['href']]

        return TorData
    except OSError as e:
        print("An error occurred during filtering",e)

就是这样！