谷歌的 PHP 抓取问题“我感觉很幸运”答案

【问题标题】：PHP scraping problem with Google "I'm feeling lucky"谷歌的 PHP 抓取问题“我感觉很幸运”
【发布时间】：2010-12-16 13:00:32
【问题描述】：

我正在尝试使用 Google 的“手气不错”按钮进行抓取。

对于像“iteminfo.ca”这样的小查询，它可以工作，因为它会将我重定向到 iteminfo.ca。

这是查询网址：

http://www.google.com/search?hl=en&source=hp&q=iteminfo.ca&btnI=I%27m+Feeling+Lucky

但是对于像 '061754020164 site:iteminfo.ca' 这样的查询它不起作用：

http://www.google.com/search?hl=en&q=061754020164+site%3Aiteminfo.ca&btnI=I%27m+Feeling+Lucky

因为它没有重定向到http://www.iteminfo.ca/Product.aspx?id=1011972978，当您使用该查询并在谷歌主页上点击“我感觉很幸运”时会这样做。

任何想法我做错了什么。

【问题讨论】：

【解决方案1】：

尝试使用 Google Search API 而不是屏幕抓取。

这里有更多信息，包括 PHP 示例代码：

【讨论】：

这个答案已经过时了。从上面的链接“注意：Google Web Search API 已于 2010 年 11 月 1 日正式弃用。根据我们的弃用政策，它已在弃用日期后运行了三年多。它的最后运行日期为 2014 年 9 月 29 日。”

【解决方案2】：

使用新样式的 URL，您会更幸运：

【讨论】：