我需要关于列出网站中所有链接的最有效方式的建议。我可以用任何一个 php vb 来做到这一点，并且我试图用 scrapy 来做，但我的问题是前 2 个输入网站的地址是不够的，我实际上必须在我的代码，并使用scrapy我试图列出页面中所有后续链接，但蜘蛛似乎永远不会结束研究。
换句话说，我需要找到一种输入网站地址的方法，返回该网站中存在的所有链接。我需要为一个学校项目做这件事，并且我正在考虑对零售业进行一项小型研究，因此我需要为给定的网站列出多达 20 000 个结果。
有什么建议吗？
【问题讨论】：
标签： hyperlink web-scraping scrapy web-crawler
Scrapy 是这里的完美选择。将CrawlSpider 与LinkExtractor 一起使用。
下面的蜘蛛会follow 并收集网站上的所有链接。由于默认启用了OffsiteMiddleware - 您不会从其他域获取链接。
from scrapy.item import Field, Item
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class SampleItem(Item):
link = Field()
class SampleSpider(CrawlSpider):
name = "sample_spider"
allowed_domains = ["domain.com"]
start_urls = ["http://domain.com"]
rules = (
Rule(LinkExtractor(), callback='parse_page', follow=True),
)
def parse_page(self, response):
item = SampleItem()
item['link'] = response.url
return item
如果你想限制链接数并在获得n个链接后停止蜘蛛，使用Close Spider扩展并设置CLOSESPIDER_ITEMCOUNT设置：
CLOSESPIDER_ITEMCOUNT
指定项目数量的整数。如果蜘蛛刮伤 如果项目和那些项目被项目传递，则超过该金额 管道，蜘蛛会关闭的原因 closespider_itemcount。如果为零（或未设置），蜘蛛将不会关闭 按通过的项目数。
在您的情况下，您也可以改用CLOSESPIDER_PAGECOUNT 设置。
希望对您有所帮助。
【讨论】：