Scrapy JSON 获取价值

【问题标题】：Scrapy JSON get valueScrapy JSON 获取价值
【发布时间】：2019-08-02 03:37:09
【问题描述】：

使用这个 link 我试图在每个实例之后获取以下数据，这将是 100 个数据集

contributor-limited-meta":{"data":{"id":"4103089"

预期的结果是：

768919, 4103089, 193246966, 976367, 508762, 还有更多

我已经通过scrapy shell 尝试了response.xpath('//script').re(r'author":"([0-9.]+?)"')，但我无法让它工作。

【问题讨论】：

标签： python json web-scraping scrapy

【解决方案1】：

您可以使用请求，然后使用响应中的 json 并循环提取

import requests
res = requests.get('https://www.shutterstock.com/sstk/api/footage/images/search?site=image&image_type=vector&q=&page%5Bnumber%5D=1&studio=1&include=contributor-limited-meta').json()
results  = []
for item in res['data']:
    id = item['relationships']['contributor-limited-meta']['data']['id']
    results.append(id)
print(results)

用scrapy使用json

jsonres = json.loads(response.body_as_unicode()

【讨论】：