【问题标题】:Spider for parsing JSON in scrapy用于在 scrapy 中解析 JSON 的爬虫
【发布时间】:2015-08-04 15:30:12
【问题描述】:

我使用scrapy 已经有一段时间了,我想知道解析JSON 的最佳方法是什么。在 scrapy viz 中有专门为 XML 和 CSV 设计的蜘蛛。 XMLFeedSpiderCSVFeedSpider。 JSON也有这样的蜘蛛吗?

【问题讨论】:

    标签: python scrapy scrapy-spider


    【解决方案1】:

    Scrapy 没有默认的 JSON 解析器,但您可以使用 json 模块来解析您的响应并将其转换为项目:

    jsonresponse = json.loads(response.body_as_unicode())
    

    但是,如果您打算编写像 CSVFeedSpider 这样的通用解决方案,请随时将其贡献给 Scrapy 项目,但我猜 json.loads 可以使用 JSON 响应。

    【讨论】:

    • 是的,它做得很好。但我只是想知道是否也有内置的解决方案。还是谢谢!
    猜你喜欢
    • 2019-06-24
    • 2022-10-12
    • 1970-01-01
    • 2019-12-20
    • 1970-01-01
    • 2021-12-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多