Python requests.get 从网站收到浏览器错误怎么办？

Question

我正在尝试从网站中读取表格，但是当我这样做时，我从网站得到的结果显示：“您的浏览器可能已过时。为了获得最佳网站体验，我们建议您更新浏览器。”

我可以在同一个 PGA 网站的 Stats 部分使用 requests.get 而不会出现问题，但由于某些原因，这些历史结果表的显示方式会导致问题。发生的一件有趣的事情是该网站允许您为显示的表格选择不同的年份，但这样做不会导致地址有任何差异，所以我怀疑他们正在以 read_html 不起作用的方式格式化它.还有其他建议吗？代码如下。

    import pandas as pd
    import requests
    farmers_url = 'https://www.pgatour.com/tournaments/farmers-insurance-open/past-results.html'
    farmers = pd.read_html(requests.get(farmers_url).text, header=0)[0]
    farmers.head()

Answer 1

我看到对以下文件的请求以获取您想要的内容。否则，这将是浏览器从您的起始 URL 发出的附加请求。您当前获得的是在浏览器动态发生的任何更新之前请求的 url 中表格的实际内容。

import requests
import pandas as pd

headers = {'User-Agent': 'Mozilla/5.0'}
r = requests.get('https://www.pgatour.com/tournaments/farmers-insurance-open/past-results/jcr:content/mainParsys/pastresults.selectedYear.2021.004.html', headers=headers).text
pd.read_html(r)

如果您想整理看起来像实际的网页，那么可以进行以下转换和清理：

import requests
import pandas as pd

headers = {'User-Agent': 'Mozilla/5.0'}
r = requests.get('https://www.pgatour.com/tournaments/farmers-insurance-open/past-results/jcr:content/mainParsys/pastresults.selectedYear.2021.004.html', headers=headers).text
t = pd.read_html(r)[0]
t.reset_index()
t.columns = [':'.join([i[0], i[1]]) if 'ROUNDS' in i else i[0] for i in t.columns]
t.POS = t.POS.map(lambda x: x.split(' ')[-1])
round_columns = [i for i in t.columns if 'ROUNDS' in i]
t[round_columns] = t[round_columns].applymap(lambda x: x.split(' ')[0])
t.drop('TO PAR', inplace = True, axis = 1)
t.rename(columns={"TOTALSCORE": "TOTAL SCORE", "OFFICIALMONEY": "OFFICIAL MONEY", "FEDEXCUPPOINTS":"FEDEX CUP POINTS"}, inplace = True)

---

详情：