使用 phantomjs 获取具有scrapy 和 selenium 可能竞争条件的动态内容答案

【问题标题】：Using phantomjs for dynamic content with scrapy and selenium possible race condition使用 phantomjs 获取具有scrapy 和 selenium 可能竞争条件的动态内容
【发布时间】：2014-09-17 17:01:00
【问题描述】：

首先，这是来自这里的后续问题：Change number of running spiders scrapyd

我使用 phantomjs 和 selenium 为我的 scrapy 项目创建下载器中间件。当我在本地一次运行我的蜘蛛时，它运行良好并且并没有真正减慢速度。

但就在最近，我在 AWS 上安装了一个 scrapyd 服务器。我注意到一个可能的竞争条件，当多个蜘蛛同时运行时，它似乎会导致错误和性能问题。我觉得这个问题源于两个不同的问题。

1) 蜘蛛试图同时使用 phantomjs 可执行文件。

2) 蜘蛛试图同时登录到 phantomjs 的 ghostdriver 日志文件。

在这里猜测，性能问题可能是蜘蛛试图等待资源可用（这可能是因为我也有一个 sqlite 数据库的竞争条件）。

这是我得到的错误：

exceptions.IOError: [Errno 13] Permission denied: 'ghostdriver.log'（日志文件竞争条件？）

selenium.common.exceptions.WebDriverException：消息：'无法连接到 GhostDriver'（可执行竞争条件？）

我的问题是：

我对问题所在的分析是否正确？

除了限制一次可以运行的蜘蛛数量之外，还有其他已知的解决方案吗？

还有其他我应该处理 javascript 的方法吗？（如果您认为我应该创建一个全新的问题来讨论使用 scrapy 处理 javascript 的最佳方法，请告诉我，我会的）

这是我的下载器中间件：

class JsDownload(object):

    @check_spider_middleware
    def process_request(self, request, spider):
        if _platform == "linux" or _platform == "linux2":
            driver = webdriver.PhantomJS(service_log_path='/var/log/scrapyd/ghost.log')
        else:
            driver = webdriver.PhantomJS(executable_path=settings.PHANTOM_JS_PATH)
        driver.get(request.url)
        return HtmlResponse(request.url, encoding='utf-8', body=driver.page_source.encode('utf-8'))

注意：在我将此源代码部署到静态环境之前，_platform 代码是临时工作。

我在 SO 上找到了针对 javascript 问题的解决方案，但它们是基于蜘蛛的。这让我很困扰，因为这意味着每个请求都必须在下载器处理程序中发出一次，然后在蜘蛛程序中再次发出。这就是为什么我决定将我的实现为下载器中间件。

【问题讨论】：

标签： python-2.7 selenium scrapy phantomjs ghostdriver

【解决方案1】：

尝试使用 webdriver 与 phantomjs 交互 https://github.com/brandicted/scrapy-webdriver

【讨论】：