部署蜘蛛scrapyd python后数据存储在哪里？答案

【问题标题】：where's data store after deploy spider scrapyd python?部署蜘蛛scrapyd python后数据存储在哪里？
【发布时间】：2014-11-22 19:35:21
【问题描述】：

我在http://localhost:6800/ 成功部署并安排了我的蜘蛛，但是项目商店的数据在哪里？我怎样才能得到它们？

非常感谢！

【问题讨论】：

您是否配置了任何管道？显示您的settings.py。
是的，我有一个管道，如果我使用命令 scrapy crawl myspider，我运行正常并将数据存储在我的 json 文件中，但是当我使用命令 curl http://localhost:6800/schedule.json -d project=project_name -d spider=myspider 部署我的项目时，它部署成功但是我找不到我的数据。这是我的设置 .py：BOT_NAME = 'comicvn2' SPIDER_MODULES = ['comicvn2.spiders'] NEWSPIDER_MODULE = 'comicvn2.spiders' ITEM_PIPELINES = { 'comicvn2.pipelines.Comicvn2Pipeline' }

【解决方案1】：

你应该在process_item()处理它而不是由scrapyd处理。因为scrapyd只是记录项目，除了日志文件之外，存储数据的方式没有区别。您可以在 scrapyd 的文档中找到它。

【讨论】：

【解决方案2】：

在scrapyd中你必须在scrapyd.conf文件中定义项目目录，更多信息你可以查看scrapyd文档scrapyd.conf

【讨论】：