scrapy 项目导出器是否支持优先级？如果是怎么办？

【问题标题】：Does scrapy item exporter support priority? If yes how?scrapy 项目导出器是否支持优先级？如果是怎么办？
【发布时间】：2013-10-16 05:52:09
【问题描述】：

通过支持优先级，我的意思是当您从项目管道中弹出一个项目时，它会返回一个具有最高优先级的项目。

【问题讨论】：

标签： python-2.7 screen-scraping scrapy

【解决方案1】：

也许你可以自己定制。

管道.py

class PriorityPipeline(object):
    def __init__(self):
        self.ids_seen = set()
    def process_item(self, item, spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.ids_seen.add(item['id'])
            return item

settings.py

ITEM_PIPELINES = [
    'soufun.pipelines.PriorityPipeline',
]

【讨论】：