如何在scrapy spider中访问管道数据库池

Question

首先，这是我想要做的：

我有一个 XMLFeedSpider，它遍历 XML 文件中的产品列表（节点）并创建保存到管道中我的数据库的项目。第一次看到产品时，我需要创建请求以在产品的 url 字段上进行一些抓取以获取图像等。在后续读取提要时，如果我看到相同的产品，我不想浪费时间/资源这样做，只是想跳过这些额外的请求。要查看要跳过的产品，我需要访问我的数据库以查看该产品是否存在。

以下是我能想到的多种方法：

1. 只需为蜘蛛中的每个产品创建一个数据库请求。这个 似乎是个坏主意。
2. 在我的项目存储管道中，我已经创建了一个数据库池，如下所示： dbpool = adbapi.ConnectionPool('psycopg2', cp_max=2, cp_min=1, **dbargs) 并且使用它似乎更有效，所以我不会经常创建新的数据库连接。我不知道如何在我的蜘蛛中访问实例化的管道类（这可能更像是一个一般的 python 问题）。
   注意：这个人基本上是在问同样的问题，但并没有真正得到他想要的答案。 How to get the pipeline object in Scrapy spider
3. 也许在开始抓取之前将所有产品 URL 加载到内存中，以便在处理产品时进行比较？哪里是这样做的好地方？
4. 其他建议？

更新：这是我使用数据库池的管道

class PostgresStorePipeline(object):
    """A pipeline to store the item in a MySQL database.
    This implementation uses Twisted's asynchronous database API.
    """

    def __init__(self, dbpool):
        print "Opening connection pool..."
        dispatcher.connect(self.spider_closed, signals.spider_closed)
        self.dbpool = dbpool

    @classmethod
    def from_settings(cls, settings):
        dbargs = dict(
            host=settings['MYSQL_HOST'],
            database=settings['MYSQL_DBNAME'],
            user=settings['MYSQL_USER'],
            password=settings['MYSQL_PASSWD'],
            #charset='utf8',
            #use_unicode=True,
        )
        dbpool = adbapi.ConnectionPool('psycopg2', cp_max=2, cp_min=1, **dbargs)
        return cls(dbpool)

Answer 1

我认为您的意思是 URL 和 item，请记住，对于 scrapy，item 是数据输出，pipeline 是处理这些输出项的机制。

当然，您不需要打开许多连接来进行数据库查询，但您必须进行必要的查询。这取决于您的数据库中有多少条记录只能进行一次查询或每个URL 进行一次查询，您应该测试哪一条更适合您的情况。

我建议您设置自己的DUPEFILTER_CLASS，例如：

from scrapy.dupefilters import RFPDupeFilter

class DBDupeFilter(RFPDupeFilter):

    def __init__(self, *args, **kwargs):
        # self.cursor = .....                       # instantiate your cursor
        super(DBDupeFilter, self).__init__(*args, **kwargs)

    def request_seen(self, request):
        if self.cursor.execute("myquery"):          # if exists
            return True
        else:
            return super(DBDupeFilter, self).request_seen(request)

    def close(self, reason):
        self.cursor.close()                         # close  your cursor
        super(DBDupeFilter, self).close(reason)

更新

这里的问题是DUPEFILTER_CLASS 没有在其request_seen 对象上提供蜘蛛，甚至没有进入构造函数，所以我认为你最好的方法是使用Downloader Middleware，你可以在其中提高IgnoreRequest 异常。

1. 在spider上实例化db连接，可以在spider本身（构造函数）上实现，也可以通过Middleware或Pipeline上的信号添加，我们在Middleware上添加：

   from scrapy.exceptions import IgnoreRequest
   
   class DBMiddleware(object):
   
       def __init__(self):
           pass
   
       @classmethod
       def from_crawler(cls, crawler):
           o = cls()
           crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
           return o
   
       def spider_opened(self, spider):
           spider.dbpool = adbapi.ConnectionPool('psycopg2', cp_max=2, cp_min=1, **dbargs)
   
       def process_request(self, request, spider):
           if spider.dbpool... # check if request.url inside the database
               raise IgnoreRequest()
   

1234563使用spider.dbpool 检查您的数据库连接。

2. 记得activate your middleware。

这样你应该只在蜘蛛对象中做一个数据库连接实例。