使用scrapy删除空数据

Question

我正在使用 scrapy 从某个网站上刮取数据，但刮取的数据充满了我不想要的空值，因此为了清理我提取的数据，我更改了 pipeline.py 脚本。当我提取一个或两个值时它就起作用了，它就像一个魅力。但是当我提取多个值并且由于每个提取的行上至少有一个空值时，算法最终会删除我几乎所有的数据。有没有办法阻止这种情况发生？

这是我用来删除空数据的代码

class ConfigSpiderPipeline(object):
    def process_item(self, item, spider):
        item['task_id'] = task_id
        if col is not None:
            if not(all(item.values())):
                raise DropItem()
            else:
                col.save(item)
                return item

Answer 1

如果您只想删除所有值为 None 的项目，您应该使用 'any' 而不是 all：

class ConfigSpiderPipeline(object):
    def process_item(self, item, spider):
        item['task_id'] = task_id
        if col is not None:
            if not(any(item.values())):
                raise DropItem()
            else:
                col.save(item)
                return item

或者更清楚：

class ConfigSpiderPipeline(object):
    def process_item(self, item, spider):
        item['task_id'] = task_id
        if col is not None:
            if any(item.values()):
                col.save(item)
                return item
            else:
                raise DropItem()