无法使用 beautifulSoup 抓取网站

Question

我尝试使用漂亮的汤（bs4）来抓取页面，但是在抓取数据时遇到了问题，我什至提到了这个答案中指出的标题Stackoverflow Question 这是我的代码

from bs4 import BeautifulSoup
import requests
headers = {
'Referer': 'hello',
 }
 r=requests.get
 ('https://www.doamin.com/bangalore/restaurants',headers=headers)
 print(r.status_code)

这是我遇到的错误

requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response',))

还有这个

 raise RemoteDisconnected("Remote end closed connection without"
 http.client.RemoteDisconnected: Remote end closed connection without 
 response

我什至尝试过使用用户代理

import requests
url = 'https://www.example.com/bangalore/restaurants'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)

但仍然出现同样的错误！

谁能帮帮我？

Answer 1

我猜服务器正在通过检查有效 Chrome 版本列表（如果您在用户代理中指定 Chrome 浏览器）更彻底地检查用户代理字符串。您指定的版本 (41.0.2228) 未在 Chrome version history 中列出。例如使用 41.0.2272 ：

import requests
url = 'https://www.example.com/bangalore/restaurants'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/41.0.2272.0 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)

Answer 2

Zomato（和许多其他数据收集网站）很可能已采取措施阻止数据抓取工具或数据挖掘者。只需使用他们的 API：https://developers.zomato.com/api