Scrapy：如何从其他python脚本运行蜘蛛两次或更多次？

Question

Scrapy 版本：1.0.5

我已经搜索了很长时间，但是大多数解决方法在当前的 Scrapy 版本中都不起作用。

我的spider在jingdong_spider.py中定义，运行spider的接口（通过Scrapy Documentation学习）如下：

# interface
def search(keyword):
    configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
    runner = CrawlerRunner()
    d = runner.crawl(JingdongSpider,keyword)
    d.addBoth(lambda _: reactor.stop())
    reactor.run() # the script will block here until the crawling is finished

然后在temp.py中调用上面的search(keyword)来运行spider。

现在的问题是：我调用了一次 search(keyword)，它运行良好。但我调用了两次，例如，

在 temp.py 中

search('iphone')
search('ipad2')

它报告了：

Traceback（最近一次调用最后一次）：文件 “C:/Users/jiahao/Desktop/code/bbt_climb_plus/temp.py”，第 7 行，在 search('ipad2') 文件 "C:\Users\jiahao\Desktop\code\bbt_climb_plus\bbt_climb_plus\spiders\jingdong_spider.py", 第 194 行，搜索中 reactor.run() # 脚本会在这里阻塞，直到爬取完成 File “C:\Python27\lib\site-packages\twisted\internet\base.py”，第 1193 行， 运行中 self.startRunning(installSignalHandlers=installSignalHandlers) 文件“C:\Python27\lib\site-packages\twisted\internet\base.py”，行 1173，在开始运行 ReactorBase.startRunning(self) 文件“C:\Python27\lib\site-packages\twisted\internet\base.py”，第 684 行，在 开始跑步 raise error.ReactorNotRestartable() twisted.internet.error.ReactorNotRestartable

第一次搜索(keyword)成功，后面找错了。

你能帮忙吗？

Answer 1

在您的代码示例中，您正在调用 twisted.reactor 在每个函数调用时启动它。这不起作用，因为每个进程只有一个反应器，您不能start it twice。

有两种方法可以解决您的问题，都在documentation here 中描述。要么坚持使用CrawlerRunner，但将reactor.run() 移到search() 函数之外，以确保它只被调用一次。或者使用CrawlerProcess 并直接调用crawler_process.start()。第二种方法更简单，您的代码如下所示：

from scrapy.crawler import CrawlerProcess
from dirbot.spiders.dmoz import DmozSpider

def search(runner, keyword):
    return runner.crawl(DmozSpider, keyword)

runner = CrawlerProcess()
search(runner, "alfa")
search(runner, "beta")
runner.start()

Answer 2

正如 Pawel Miech 所说的

在您的代码示例中，您正在调用twisted.reactor 它在每个函数调用上。这不起作用，因为只有 每个进程一个反应器，你不能启动它两次。

我找到了解决问题的方法。只是使用多处理。

会是这样的：

from multiprocessing import Process
def run_spider(keyword):
    if __name__ == '__main__':
        p = Process(target=jingdong_spider.search, args=(keyword.encode('utf-8'),))
        p.start()
        p.join()

如果每个人在使用 python-multiprocessing 时都有问题。最好看一下 python 文档。