如何将 python 请求与 scrapy 一起使用？答案

【问题标题】：How to use python requests with scrapy?如何将 python 请求与 scrapy 一起使用？
【发布时间】：2019-05-21 03:50:22
【问题描述】：

我正在尝试使用requests 获取页面，然后将响应对象传递给解析器，但遇到了问题：

def start_requests(self):
    yield self.parse(requests.get(url))
def parse(self, response):
  #pass

builtins.AttributeError: 'generator' 对象没有属性 'dont_filter'

【问题讨论】：

【解决方案1】：

您首先需要下载页面的响应，然后将该字符串转换为 HtmlResponse 对象

from scrapy.http import HtmlResponse
resp = requests.get(url)

response = HtmlResponse(url="", body=resp.text, encoding='utf-8')

【讨论】：

嘿，我和 op 有同样的问题。我试过你的代码||||||||||| response = HtmlResponse(url="", body=requests.get(line).text, encoding='utf-8') 产生响应 ||||||||收到此错误 """'HtmlResponse' 对象没有属性 'dont_filter'"""