可以用 python 进行谷歌搜索吗？

Question

目前抓取google搜索结果是不是有点困难？ 我想在mac上用python3在google中找到一个关键字的前5个url，我的程序如下：

import requests, bs4 


word =input()


res = requests.get('https://www.google.co.in/search?q='+str(word))


page =bs4. BeautifulSoup(res.text,"lxml")


result=page.select("a.href")


...

有一些失败：

OSError: [Errno 65] 没有到主机的路由

requests.packages.urllib3.exceptions.NewConnectionError： : 建立新连接失败: [Errno 65] 否 路由到主机

如何解决这些问题？

Answer 1

抓取 Google 搜索网页并非不可能，您只需充分研究浏览器的行为方式并让脚本使用这些信息伪装 自己为普通浏览器。这涉及到使用标头、如何构建 GET 请求以及可能模仿一些 AJAX 函数等等。

requests 允许您很好地自定义请求以完成此操作。