如何将json文件存储在scrapy中？

Question

我目前正在使用 Scrapy 从不同网站抓取一些域，我想知道如何将我的数据保存在本地 json 文件中，格式为列表或字典格式，键为“域”和域列表作为价值。

在爬虫文件中，item是这样的：

item['domain'] = 'xxx'.extract()
yield item

import json
import codecs

class ChinazPipeline(object):

    def __init__(self):
        self.file = codecs.open('save.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

我的期望是：

{"domain": "['google.com', 'cnn.com', 'yahoo.com']"}

或者只是简单地将我抓取的所有域保存为 json 中的列表，这两种方式都适合我。

Answer 1

这很简单。 Json 是默认的scrapy 导出器。 您可以通过打开输出到 JSON 文件来使用它：

scrapy runspider yourspider.py -o filename.json 

Scrapy 将根据文件类型自动确定您使用的格式。 其他选项是.csv 和.jsonline。

这是一个简单的方法。否则你可以写你自己的ItemExporter。看看exporters documentation。

注意：

你甚至不需要在蜘蛛启动期间打开文件，scrapy 会自己管理它。 只需生成项目，scrapy 会自动将其写入文件。

---

Scrapy 最适合one page -> one item 架构。 您想要的是提前抓取所有项目，然后将它们导出为单个列表。

所以你应该有一些像self.results 这样的变量，从每个process_item() 调用中附加新的域。然后在蜘蛛关闭事件中导出它。 这个信号有捷径。所以你可以添加：

def closed(self, reason):
    # write self.results list to JSON file.

More documentation on Spider.closed() method.