从谷歌搜索中获取前 1000 个结果

【问题标题】：get first 1000 results from a google search从谷歌搜索中获取前 1000 个结果
【发布时间】：2011-07-18 17:37:29
【问题描述】：

我正在尝试使用 C# 在 google 中获取前 1000 个搜索结果链接。到目前为止，我已经修改了 Shiv Kumar 的 Finding links on a Web page 在以下位置查找链接： string pagesUrl = "http://www.google.com/search?hl=en&num=100&q=" + "concept"; 然而，由于谷歌页面没有显示所有 1000 个结果，我需要找到获得其余结果的方法。没有google api能做到吗？

吉利比

【问题讨论】：

看这里：stackoverflow.com/questions/22657548/… 您正在寻找的内容在 IT 中称为“抓取”。

标签： c# get hyperlink google-search

【解决方案1】：

我建议你使用 API。

从 HTML 中使用“屏幕抓取”是有问题的，并且需要频繁的维护工作 - 特别是在像 Google 这样的页面上，它几乎肯定一年会更改几次，并且经常使用重定向来跟踪链接使用情况。

或者，如果您真的想使用 HTML 路由，请查看查询参数 - 例如"&start=10" - 这应该允许您遍历页面。

但不能保证查询参数将永远保持不变。

【讨论】：

如果可能，一定要使用 API。否则，请编写执行单个查询的代码：“&start=100&num=100”、“&start=200&num=100”等。不过，请注意，Google 不赞成屏幕抓取，如果你这样做太多会扼杀你。我建议请求之间至少延迟 15 秒。