Google colab：拒绝访问您无权访问此服务器上的“网站”答案

【问题标题】：Google colab : Access Denied You don't have permission to access "website" on this serverGoogle colab：拒绝访问您无权访问此服务器上的“网站”
【发布时间】：2019-05-09 22:14:54
【问题描述】：

我正在尝试使用漂亮的汤在 google colab 上抓取网站。我可以在我的本地机器上抓取内容，但是当我试图在云上抓取它时。我收到一个错误。

'\n访问被拒绝\n\n访问被拒绝\n \n您没有访问“http://www.justdial.com/Bangalore/Spardha-Mithra-IAS-KAS-Coaching-Centre-Opposite-Maruthi-Medicals-Vijayanagar/080PXX80-XX80-140120184741-R6P8_BZDET?”的权限在此服务器上。\n参考 #18.740f1160.1544263996.61a6bb6e\n\n\n'

当我在本地机器上运行相同的代码时，它运行良好。

import requests
import re
from bs4 import BeautifulSoup
url = 'https://www.justdial.com/Bangalore/Spardha-Mithra-IAS-KAS-Coaching-Centre-Opposite-Maruthi-Medicals-Vijayanagar/080PXX80-XX80-140120184741-R6P8_BZDET?xid=QmFuZ2Fsb3JlIEJhbmsgRXhhbSBUdXRvcmlhbHM='
res  = requests.get(url, headers  = {'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(res.content, 'html.parser')
print(res)

输出：

<Response [403]>

为什么会发生这种情况，有什么办法可以摆脱它。

【问题讨论】：

在我的 colab 帐户中很好，您是否在执行多个请求（循环）？
不，我只尝试运行一次。主机是否为我关闭了连接。我的 colab 被网站屏蔽了吗？因为它在我的本地 PC 上运行。所以IP地址不能是原因。对吧？？
你怎么看，因为这不是一个普遍的问题，而且只有我才会出现，我应该删除这个问题吗？？
你不需要删除这个。尝试更改您的 IP 地址
@ewwink 我尝试更改 IP 地址它不起作用。但是当我在 Chrome 隐身窗口模式下使用我的其他谷歌帐户尝试它时。有效。你能告诉我为什么会这样吗？

标签： python beautifulsoup automation google-cloud-platform google-colaboratory

【解决方案1】：

很确定这是服务器端速率限制。你的代码在 colab 中对我来说很好。您可以尝试 colab 的“重置所有运行时”功能来分配新的 VM，以排除您运行的其他笔记本代码的任何副作用。

【讨论】：