【发布时间】：2021-07-08 07:30:37
【问题描述】：
我正在测试我构建的抓取算法。我向https://www2.hm.com/fi_fi/miesten.html 提出了请求，但错误地指定了用户代理信息。似乎这触发了立即禁止（不确定）抓取他们的网站应该没问题 - 他们的 robots.txt 说：用户代理：* 不允许：)
Example of making a request to HM and the subsequent server response
出于隐私考虑，我删除了用户代理和代理信息。但是，它们并没有什么特别之处。
我收到以下回复：
"b'\n访问被拒绝\n\n
\n \n您无权访问此服务器上的“http://www2.hm.com/fi_fi/miesten.html”。\n参考 #18.2796ef50.1625728417。 f9aab80\n\n\n'"
所以我的问题是：我可以做些什么来解除这个禁令？我可以从他们的一端连接某人并要求解除它吗？如果是这样，通常在哪里可以找到这些信息。 虽然这个问题特别涉及这个网站，但这是一个更广泛的问题。在被封禁的情况下，用户是否可以尝试从服务器连接某人？我考虑过联系客户支持，但我严重怀疑他们无法帮助解决这个问题，甚至不了解它的含义。
我已经用谷歌搜索了这个问题，但没有找到任何帮助。他们通常建议清除缓存、内存等。这不是这里的问题。我可以通过Chrome或其他浏览器访问该站点，但是通过python使用请求时，出现了这个问题。
【问题讨论】：
标签： python web-scraping server http-headers http-status-code-403