数据从具有不受支持的浏览器错误的网站获取请求答案

【问题标题】：data get requests from a website with unsupported browser error数据从具有不受支持的浏览器错误的网站获取请求
【发布时间】：2019-04-22 09:59:28
【问题描述】：

我基本上已经尝试了所有方法，但仍然出现不支持的浏览器错误。我使用请求模块。我尝试过使用标题，其他模块，但仍然相同。

import requests
url = "https://www.ratemyagent.com.au/"
response = requests.get(url)
html_icerigi = response.text
soup = BeautifulSoup(html_icerigi, "html.parser")

https://www.ratemyagent.com.au/ 这是地址。所以如果你有任何想法摆脱这个错误，请告诉我。

非常感谢

编辑：这是我尝试过的标题：

user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36' headers = { 'User-Agent' : user_agent } response = requests.get (url, headers=headers)

versions // python 3. BeautifulSoup4: 4.6.0 requests:2.20 [这是有 soup.text 或 reponse.text 的输出][1]

【问题讨论】：

无法重现错误，从请求中接收 HTTP 200
但是当你打印文本时浏览器不支持
您尝试过哪些标头？具体来说，User-Agent 标头是什么？
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36' headers = { 'User-Agent' : user_agent } response = requests.get(url, headers=headers)
这是我尝试过的

标签： python web-scraping python-requests

【解决方案1】：

它是`not a error`

当你通常通过`chrome browser`搜索`https://www.ratemyagent.com.au/`时，你得到的页面资源也有你说的信息：

虽然您通过请求模块获得的资源与您从网络浏览器获得的资源相同，但我认为这不是错误。

【讨论】：

它是not a error

当你通常通过chrome browser搜索https://www.ratemyagent.com.au/时，你得到的页面资源也有你说的信息：

虽然您通过请求模块获得的资源与您从网络浏览器获得的资源相同，但我认为这不是错误。

它是`not a error`

当你通常通过`chrome browser`搜索`https://www.ratemyagent.com.au/`时，你得到的页面资源也有你说的信息：