如何打印 Scrapy 发送的请求标头？

Question

我要做的任务是打印scrapy发送的请求头。我在如何使用scrapy中间件上有些磕磕绊绊。

我在项目settings.py文件中激活了下载器中间件。

DOWNLOADER_MIDDLEWARES = {
    'CarDataPull.middlewares.CardatapullDownloaderMiddleware': 543,
}

然后，我在middlewares.py 文件中的函数process_request 中添加了以下几行。

 print('I was here')
 with open('request_header.txt', 'wb') as a:
     a.write(request)

我看不到任何激活此功能的迹象。

谁能告诉我如何激活该特定功能？或者还有其他打印请求头的方法吗？

Answer 1

在启动时，scrapy 返回多个日志条目，包括活动中间件列表。
如果您希望启用中间件，则此日志行 [scrapy.middleware] INFO: Enabled downloader middlewares: 之后的行应该具有中间件的名称。
如果没有 - 这意味着您的中间件未激活（最常见的情况 - 中间件路径问题）。