Scrapy shell 不适用于 https://www.target.com.au/答案

【问题标题】：Scrapy shell does not work for https://www.target.com.au/Scrapy shell 不适用于 https://www.target.com.au/
【发布时间】：2020-01-08 03:45:48
【问题描述】：

我已经测试过我的 shell 适用于其他网站，但拒绝在目标上运行。

raise self.value.with_traceback(self.tb)
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

【问题讨论】：

我叫：scrapy shell "target.com.au" --nolog

标签： html web web-scraping scrapy

【解决方案1】：

网站似乎忽略了基于您的用户代理字符串的请求。

这行得通：

scrapy shell target.com.au --nolog --set=USER_AGENT=Mozilla

【讨论】：