【发布时间】:2022-01-08 20:31:16
【问题描述】:
我正在使用scrapy,但某些网址出现以下错误
[scrapy.spidermiddlewares.urllength] 调试:忽略链接(url 长度 > 2083):
当我在浏览器中复制并粘贴这个长网址时,我得到了页面,没问题。
有没有办法强制scrapy不要忽略那些长url的
非常感谢
【问题讨论】:
-
看看What should I do when someone answers my question?。如链接中所述,您应该避免写“谢谢” cmets,因为它们往往会被删除。