我应该什么时候关闭网络驱动程序？

Question

我使用 Scrapy 和 Selenium 进行抓取。

当我使用htop 运行我的蜘蛛时，我看到了我的网络驱动程序的实例。

我想知道何时应该在我的代码中关闭 webdriver？

def parse():
    # I have all links in my array_links
    for link in self.array_links:
        self.driver.get(link)

        # Here i Parse the products
        item = MyTestItem()
        item['test1'] = "test"
        yield item 

我在我的代码中添加了这个

def __del__(self):
    self.driver.quit()

脚本结束，但我不知道在获取每个链接后我应该close webdriver 吗？

谢谢，

Answer 1

问题是。你在哪里打开它？

如果您的网络驱动程序在蜘蛛的上下文中，那么理想情况下，您希望在蜘蛛打开时打开它，并在蜘蛛关闭时关闭它。

您可以通过连接open_spider 和close_spider 信号来做到这一点：

from scrapy import signals
from scrapy import Spider


class MySpider(Spider):
    name = "spideroo"

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super().from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        crawler.signals.connect(spider.spider_opened, signal=signals.spider_opened)
        return spider

    def spider_opened(self, spider):
        self.driver = selenium.WebDriver()  # or what's your driver's class is.

    def spider_closed(self, spider):
        self.driver.close()