【问题标题】:Scrapy ignores url because it is too long (over 2083 characters)Scrapy 忽略 url,因为它太长(超过 2083 个字符)
【发布时间】:2022-01-08 20:31:16
【问题描述】:

我正在使用scrapy,但某些网址出现以下错误

[scrapy.spidermiddlewares.urllength] 调试:忽略链接(url 长度 > 2083):

当我在浏览器中复制并粘贴这个长网址时,我得到了页面,没问题。

有没有办法强制scrapy不要忽略那些长url的

非常感谢

【问题讨论】:

标签: url scrapy


【解决方案1】:

在您的settings.py 文件中为URLLENGTH_LIMIT 变量分配一个更大的值,例如 URLLENGTH_LIMIT=5000

【讨论】:

    猜你喜欢
    • 2018-03-27
    • 2011-09-12
    • 1970-01-01
    • 1970-01-01
    • 2019-12-11
    • 2022-09-27
    • 2012-03-19
    • 2016-09-10
    • 1970-01-01
    相关资源
    最近更新 更多