exceptions.TypeError: __init__() 只需要 1 个参数（给定 3 个）

Question

我正在通过继承 RFPDupeFilter 创建自定义过滤器。 这是我使用代码的链接： https://github.com/j4s0nh4ck/wiki-spider/blob/master/wiki/wiki/SeenURLFilter.py

注意：我在 settings.py 所在的同一目录中名为 custom_filters.py 的自定义文件中有上述代码，然后在 settings.py 中我有此代码。

DUPEFILTER_CLASS = 'myspider.custom_filters.SeenURLFilter'

但是当我运行机器人时，我得到了这个错误：

exceptions.TypeError: __init__() 只接受 1 个参数（给定 3 个）

Answer 1

正如您在回溯中看到的那样，您的过滤器的 from_settings() 方法被调用 - 然后它会创建您的自定义欺骗过滤器的实例。但是，由于您没有指定自己的from_settings() 方法the one from built-in RFPDupeFilter is used：

@classmethod
def from_settings(cls, settings):
    debug = settings.getbool('DUPEFILTER_DEBUG')
    return cls(job_dir(settings), debug)

它尝试使用 path 和 debug 构造函数参数实例化您的自定义欺骗过滤器。而您的 SeenURLFilter 构造函数不接受 debug 参数。

您需要让您的 dupefilter 也接受 debug parameter：

from scrapy.dupefilter import RFPDupeFilter

class SeenURLFilter(RFPDupeFilter):
    """A dupe filter that considers the URL"""

    def __init__(self, path=None, debug=False):  # FIX WAS APPLIED HERE
        self.urls_seen = set()
        RFPDupeFilter.__init__(self, path, debug)  # AND HERE

    def request_seen(self, request):
        if request.url in self.urls_seen:
            return True
        else:
            self.urls_seen.add(request.url)