【发布时间】:2016-05-27 15:48:08
【问题描述】:
在我的 settings.py 我有:
ITEM_PIPELINES = {
'turing.pipelines.InitFieldsNotInitializedPipeline': 299,
'turing.pipelines.SetNoneIfFieldEmptyPipeline': 300,
'turing.pipelines.CheckCategoryPipeline': 301,
'turing.pipelines.CheckContactPipeline': 302,
}
而且效果很好。但有时我想在没有任何管道的情况下运行蜘蛛。 当我跑步时
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s ITEM_PIPELINES=[] example_spider
我收到此错误:
return d.iteritems(**kw)
exceptions.AttributeError: 'str' object has no attribute 'iteritems'
如何在没有管道的情况下运行蜘蛛?
到目前为止我尝试过:
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s ITEM_PIPELINES=[] example_spider
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s ITEM_PIPELINES={} example_spider
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s "ITEM_PIPELINES=[]" example_spider
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s "ITEM_PIPELINES={}" example_spider
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s ITEM_PIPELINES=['turing.pipelines.InitFieldsNotInitializedPipeline': 299,] example_spider
scrapy crawl -s FEED_URI=stdout: -s FEED_FORMAT=json -s ITEM_PIPELINES={'turing.pipelines.InitFieldsNotInitializedPipeline': 299,} example_spider
其他组合 查看文档http://doc.scrapy.org/en/latest/topics/settings.html
希望你能帮助我。谢谢。
【问题讨论】:
-
我认为目前没有办法做到这一点,因为每个参数都在scrapy中被解析为字符串,无论如何值得将其作为一个功能提出here
-
没有。我在scrapy的github上发布了这个问题。 github.com/scrapy/scrapy/issues/2018#issuecomment-222182862
标签: scrapy scrapy-spider scrapyd scrapy-pipeline