【发布时间】：2020-05-05 19:09:52
【问题描述】：
我在 scrapy 中制作了一个蜘蛛，它使用媒体管道从这个页面下载视频，该页面有大约 10-20 个视频。所以我想制作一个进度条，使它看起来不会卡住，并且在完成视频后它会显示适当的消息。有人建议使用 tqdm，但我真的不知道如何在 scrapy 中实现它。
【问题讨论】：
标签： python python-3.x web-scraping scrapy tqdm
【发布时间】：2020-05-05 19:09:52
【问题描述】：
scrapy github repo 上有一个问题： https://github.com/scrapy/scrapy/issues/3793
在这种情况下，使用 http 处理程序中的 tqdm 库方法添加进度条。
【讨论】：
-
我已经完成了它，但无法弄清楚在我的项目中如何以及在何处实现它。我尝试使用 #print(response.headers.getlist('content-length')) 来获取可下载的大小，但没有打印任何内容。我是scrapy的新手。任何帮助表示赞赏。
-
这是一个正在进行的问题，Scrapy 目前不支持跟踪下载进度，直到github.com/scrapy/scrapy/issues/3793 关闭并发布具有该功能的版本。