使用 Feed Exporter 将项目从 Scrapyd 保存到 Amazon S3答案

【问题标题】：Saving items from Scrapyd to Amazon S3 using Feed Exporter使用 Feed Exporter 将项目从 Scrapyd 保存到 Amazon S3
【发布时间】：2013-04-04 01:23:15
【问题描述】：

在亚马逊 S3 上使用 Scrapy 相当简单，您可以设置：

FEED_URI = 's3://MYBUCKET/feeds/%(name)s/%(time)s.jl'
FEED_FORMAT = 'jsonlines'
AWS_ACCESS_KEY_ID = [访问密钥]
AWS_SECRET_ACCESS_KEY = [密钥]

一切正常。

但 Scrapyd 似乎覆盖了该设置并将项目保存在服务器上（在网站上有链接）

添加“items_dir =”设置似乎没有任何改变。

什么样的设置使它起作用？

编辑：可能相关的额外信息 - 我们正在使用 Scrapy-Heroku。

【问题讨论】：

你在scrapyd日志中看到了什么吗？如果您直接通过scrapy crawl 运行爬虫，它会在 S3 上保存项目吗？你是怎么告诉scrapyd你的项目settings文件在哪里的？
据我所知，日志中没有任何内容。当我执行 scrapy crawl 时，它确实保存到 S3（这告诉我 S3 配置很好），我只是将设置放在默认位置（我知道它读得很好，因为我在那里有 application 设置 - 有效很好）

标签： amazon-s3 scrapy scrapyd

【解决方案1】：

我也遇到了同样的问题。从 scrapyd.conf 文件中删除 items_dir= 对我有用。

【讨论】：

【解决方案2】：

您可以像这样将items_dir 属性设置为空值：

[scrapyd]
items_dir=

似乎在设置该属性时，优先于配置的导出。请参阅http://scrapyd.readthedocs.org/en/latest/config.html 了解更多信息。

【讨论】：