Scrapy爬虫跟踪包含关键字的链接

Question

我有一个运行良好的爬虫网络爬虫。但是，我想让它只跟随包含某个关键字或短语的链接。我以为我已经弄清楚了，但我的输出不正确。

from scrapy.selector import HtmlXPathSelector
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from scrapy.utils.url import urljoin_rfc
from webcrawler.items import SitegraphItem


class GraphspiderSpider(CrawlSpider):
    name = "examplespider"
    custom_settings = {
    'DEPTH_LIMIT': '2',
    }
    allowed_domains = []
    start_urls = (
        'http://www.example.com/products/',
    )

    rules = (
        Rule(LinkExtractor(allow=r'/'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        hxs = HtmlXPathSelector(response)
        i = SitegraphItem()
        i['url'] = response.url
        # i['http_status'] = response.status
        llinks=[]
        for anchor in hxs.select('//a[text()="keyword"]/@href'):
            href=anchor.select('@href').extract()[0]
            if not href.lower().startswith("javascript"):
                llinks.append(urljoin_rfc(response.url,href))
        i['linkedurls'] = llinks
        return i

    def _response_downloaded(self, response):
        filename = response.url.split("/")[-1] + '.html'
        with open(filename, 'wb') as f:
            f.write(response.body)    
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

我在 hxs.select 段中添加了“关键字”语句，但这显然不正确。我不确定如何让关键字正常工作。

Answer 1

看看你是否可以使用LinkExtractor 属性来实现你的链接过滤逻辑。

否则，请使用Spider 而不是CrawlSpider。 CrawlSpider 仅对它支持的有限用例有用； Spider 适用于所有用例。