【发布时间】:2015-08-04 15:30:12
【问题描述】:
我使用scrapy 已经有一段时间了,我想知道解析JSON 的最佳方法是什么。在 scrapy viz 中有专门为 XML 和 CSV 设计的蜘蛛。 XMLFeedSpider 和 CSVFeedSpider。 JSON也有这样的蜘蛛吗?
【问题讨论】:
标签: python scrapy scrapy-spider
我使用scrapy 已经有一段时间了,我想知道解析JSON 的最佳方法是什么。在 scrapy viz 中有专门为 XML 和 CSV 设计的蜘蛛。 XMLFeedSpider 和 CSVFeedSpider。 JSON也有这样的蜘蛛吗?
【问题讨论】:
标签: python scrapy scrapy-spider
Scrapy 没有默认的 JSON 解析器,但您可以使用 json 模块来解析您的响应并将其转换为项目:
jsonresponse = json.loads(response.body_as_unicode())
但是,如果您打算编写像 CSVFeedSpider 这样的通用解决方案,请随时将其贡献给 Scrapy 项目,但我猜 json.loads 可以使用 JSON 响应。
【讨论】: