scrapy Post 发送数据是我们通常会用来发送请求

yield scrapy.FormRequest(
url = url,
formdata = {"email" : "xxx", "password" : "xxxxx"},
callback = self.parse_page
)
但这是发送header为 'Content-Type', 'application/x-www-form-urlencoded' 的数据,

有时候我们做一些爬虫,会post发送json数据,否则不能返回正确的结果,如果直接用request很方便,

但在scrapy里就需要这样用

 

        form_data = {
                "limit":"5",
                "start":"0",
                "type":"1",
                "url":"http://118.114.241.241:8829/BASE_SCKJ/biddingInfo.do?baseUrl=10.192.6.229:8080/netWorkToData/getProjectMessageByTypeSupplierCode"
                }
        yield scrapy.Request(
            url='http://139.9.60.172:8071/api/transmit/to',
            method="POST",
            headers={'Content-Type': 'application/json'}, 
            body=json.dumps(form_data),
            meta={"type":my.notice},
            callback=self.parse,
            errback=self.errorback,
            dont_filter=True)

 

这样就可以发送json 数据了

相关文章:

  • 2021-12-17
  • 2022-12-23
  • 2021-07-27
  • 2022-02-05
  • 2022-02-27
  • 2021-12-16
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-12-12
  • 2021-06-19
  • 2021-06-04
  • 2022-12-23
  • 2021-10-15
  • 2022-12-23
相关资源
相似解决方案