如何在Parallel上从php执行scrapy？

Question

我在一个数组中有 90 个网址

[url1,url2,url3,  ... , url90]

我想要 3 只蜘蛛同时工作并向每个蜘蛛传递 1 个 url，所以，我的第一个 Scrapy 实例获取 url1，第二个获取 url2，第三个获取url3，当第一个完成他的工作时，他会得到 url4。

我使用了GNU Parallel，但如果有其他更好的软件我会使用它。

我在 php 中尝试了这个，因为我应该从 PHP 启动我的 scrapy

exec (for url in urlsTab | parallel -j 3 scrapy crawl mySpider -a url {}) 

Answer 1

你可能想要这样的东西（未经测试）：

$parallel = popen("parallel -j 3 scrapy crawl mySpider","w");
foreach($urlsTab as $url) {
    fwrite($parallel,$url+"\n");
}
close $parallel;