scrapyd 多个蜘蛛将项目写入同一个文件

Question

我有多个蜘蛛同时运行的scrapyd服务器，我使用schedule.json端点一一启动蜘蛛。所有蜘蛛都使用管道将内容写入公共文件

class JsonWriterPipeline(object):

def __init__(self, json_filename):
    # self.json_filepath = json_filepath
    self.json_filename = json_filename
    self.file = open(self.json_filename, 'wb')

@classmethod
def from_crawler(cls, crawler):
    save_path='/tmp/'
    json_filename=crawler.settings.get('json_filename', 'FM_raw_export.json')
    completeName = os.path.join(save_path, json_filename) 
    return cls(
        completeName
    )

def process_item(self, item, spider):
    line = json.dumps(dict(item)) + "\n"
    self.file.write(line)
    return item

蜘蛛运行后，我可以看到它们如何正确收集数据，项目存储在 XXXX.jl 文件中，并且蜘蛛正常工作，但是爬取的内容没有反映在公共文件上。 Spiders 似乎运行良好，但管道并没有很好地完成它们的工作，并且没有将数据收集到公共文件中。

我还注意到只有一个蜘蛛同时在文件上写。

Answer 1

我看不出有什么好的理由去做你所做的事情 :) 你可以通过在你的 scrapyd schedule.json 请求上设置参数来更改 json_filename 设置。然后，您可以让每个蜘蛛生成稍微不同的文件，您可以在后处理或查询时合并这些文件。您还可以通过设置 FEED_URI 值 (example) 来编写类似于您所拥有的 JSON 文件。如果您同时从多个进程写入单个文件（尤其是当您使用'wb' 模式打开时），您正在寻找损坏的数据。

编辑：

在更好地了解您需要什么之后 - 在这种情况下 - 它是 scrapyd 开始运行不同蜘蛛的多次爬网，其中每个爬网爬取不同的网站。消费者进程持续监控单个文件。

有几种解决方案，包括：

• 命名管道

相对容易实现，仅适用于非常小的项目 (see here)

• RabbitMQ 或其他一些排队机制

很好的解决方案，但可能有点矫枉过正

• 一个数据库，例如基于 SQLite 的解决方案

不错且简单，但可能需要一些编码（自定义使用者）

• 一个不错的基于inotifywait 或其他文件系统监控解决方案

很好，很容易实现

最后一个对我来说似乎是最有吸引力的选择。当scrapy crawl 完成时（spider_closed signal），将FEED_URL 文件移动、复制或创建软链接到您使用this 之类的脚本监视的目录。 mv 或 ln 是一个原子 unix 操作，所以你应该没问题。修改脚本以将新文件附加到您的 tmp 文件中，您曾经将它提供给您的消费者程序。

通过这种方式，您可以使用默认的 Feed 导出器来编写文件。最终解决方案非常简单，您不需要管道。一个简单的扩展应该符合要求。

在与settings.py 在同一目录中的extensions.py 上：

from scrapy import signals
from scrapy.exceptions import NotConfigured

class MoveFileOnCloseExtension(object):

    def __init__(self, feed_uri):
        self.feed_uri = feed_uri

    @classmethod
    def from_crawler(cls, crawler):
        # instantiate the extension object
        feed_uri = crawler.settings.get('FEED_URI')
        ext = cls(feed_uri)

        crawler.signals.connect(ext.spider_closed, signal=signals.spider_closed)

        # return the extension object
        return ext

    def spider_closed(self, spider):
        # Move the file to the proper location
        # os.rename(self.feed_uri, ... destination path...)

在你的settings.py：

EXTENSIONS = {
    'myproject.extensions.MoveFileOnCloseExtension': 500,
}