Robots.txt 被读取，但未被关注

Question

这是我的爬虫代码，我相信我基本上拥有我需要的所有组件，有些可能只是乱序，我知道正在读取 robots.txt。不幸的是，它仍然吐出不应该访问的网址。有人可以帮我吗？

import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
import re
import urllib.robotparser

url = "http://www.imdb.com"

urls = [url]

visited =[]

robotsUrl = url +'/robots.txt'

from multiprocessing import Process, Manager

while len(urls) < 1000:
    parse = urllib.robotparser.RobotFileParser()
    parse.set_url(robotsUrl)
    parse.read()
    if parse.can_fetch('*',urls[0]):
        try:
            htmltext = urllib.request.urlopen(urls[0]).read()
        except:
            print (urls[0])

        soup = BeautifulSoup(htmltext, "html.parser")
        urls.pop(0)
        print(len(urls))
        for link in soup.findAll('a', href=True):
            link['href'] = urllib.parse.urljoin(url,link['href'])
            if url in link['href'] not in visited:
                urls.append(link['href'])
                visited.append(link['href'])
print (visited)

伪代码：

for link in soup.findAll('a', href=True):
     link['href'] = urllib.parse.urljoin(url,link['href'])
     #something like if parse.can_fetch('*',link['href']):
          if url in link['href'] not in visited:
               urls.append(link['href'])
               visited.append(link['href'])

Answer 1

更新：基于 cmets。包括一组保存收集的所有唯一 URL

并不是机器人解析器失败了。这是您的 visited 数组，当您附加到它时。

您实际上希望将 visited.append(link['href']) 移到 try/except 块之后，而是使用您刚刚访问的 URL 作为传递的值 » visited.append(urls[0])。

import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
import re
import urllib.robotparser

url = "http://www.imdb.com"

queue = [url]

visited =[]
unique = set([])

robotsUrl = url +'/robots.txt'

from multiprocessing import Process, Manager

while len(queue) < 1000:
    parse = urllib.robotparser.RobotFileParser()
    parse.set_url(robotsUrl)
    parse.read()
    if parse.can_fetch('*',queue[0]):
        try:
            htmltext = urllib.request.urlopen(queue[0]).read()
        except:
            print (queue[0])

        visited.append(queue[0])

        soup = BeautifulSoup(htmltext, "html.parser")
        queue.pop(0)
        print(len(queue))
        for link in soup.findAll('a', href=True):
            link['href'] = urllib.parse.urljoin(url,link['href'])
            if link['href'] not in visited:
                queue.append(link['href'])
                unique.add(link['href'])
print("visited: ", visited)
print("uniques: ", unique)

这样，您只有在成功抓取 URL 后才会追加。此外，当您检查是否已抓取该 URL 时，它会检查相应的 URL 集。

我还更改了for 循环中的if 语句。它使用提取的链接来检查是否已访问。