谷歌搜索结果限制答案

【问题标题】：Google search results limits谷歌搜索结果限制
【发布时间】：2017-05-08 03:49:23
【问题描述】：

我尝试在谷歌搜索引擎中搜索“星期天”这个词。

结果总数为1.390.000.000。但是我只能看到前 420 个结果，直到 42 页结果。

有没有什么办法可以把google搜索的结果全部拿走？

【问题讨论】：

你在使用图书馆吗？如果有，是哪一个？
@TrakJohnson 不，我使用谷歌的简单搜索。是否有任何用于此目的的库可以返回完整的结果。因为我试图找到一个但我没有找到。

标签： python search google-search

【解决方案1】：

谷歌和其他搜索引擎的这个“功能”也适用于网络界面。第一页上声称的匹配数未反映在返回的实际结果数中。

例如，如果您search Google for "Systematic Literature Review" 它会在第一页声明几百万个结果，但如果您转到第 3 页（每页 100 个结果），它将“修改”估计为 200-300 个结果。

这在最初的估计中似乎太高了，但可能是过滤大型数据集的问题，并且可能是可以原谅的。但是，对于该主题返回的实际结果数量肯定太少了。 Bing 和 DuckDuckGo 很相似。 Google Scholar 声称有 11k 左右的结果，但如果您尝试超过 1000 个，则会返回服务器错误。

推测：这可能是为了鼓励人们更改搜索词，而不是返回大量结果，然后以编程方式在本地进行过滤（这是我想做的！）。

恐怕这不是获得更多结果的答案，而是说明问题不在于库，而在于搜索引擎。

【讨论】：

【解决方案2】：

您可以使用google 模块来控制查询结果的数量。

使用pip安装它：

pip install google

用法：

from google import search

n = 10  # number of results
query = 'sunday'
results = google.search(query, stop=n)  # returns a generator

for result in results:
    print(result)

在使用此方法之前，请记住pause参数：

pause (float) - 在 HTTP 请求之间延迟等待。间隔时间过长会使搜索变慢，但间隔时间过短可能会导致谷歌屏蔽你的IP。您的里程可能会有所不同！

Docs

【讨论】：