在python中抓取特定日期范围的谷歌搜索结果

Question

我正在尝试构建一个系统，允许我将特定日期范围的谷歌搜索结果拉到我的本地机器上。我尝试了以下代码：

import requests, bs4

res =
requests.get('https://www.google.com/search?q=nepal+OR+नेपाल&tbs=cdr:1,cd_min:4/1/2020,cd_max:4/8/2020')
res.raise_for_status()

soup = bs4.BeautifulSoup(res.text, 'html.parser') 
linkElements = soup.select('div')

 open('output.html', 'w').write(res.text)

它生成的结果如下图所示。 No date range

它显示 'nepal OR नेपाल' 的正常搜索结果，但我需要一个日期范围的搜索结果，比如说 2020 年 4 月 1 日到 2020 年 4 月 8 日 如image所示

通过一些研究，我了解到这可以通过使用诸如 SerpAPI 之类的 API 来完成，但这将花费我每月 50 美元。 p>

有没有其他方法可以做到这一点？

Answer 1

我建议你尝试 selenium，它不像请求那样可以与页面交互，并且你可以执行 JavaScript 命令来设置日期范围。