防止被禁止使用 BeautifulSoup 进行谷歌抓取

Question

我想用Python 和BeautifulSoup 制作谷歌新闻scraper，但我读到有可能会被禁止。

我还了解到，我可以通过使用一些轮换代理和轮换 IP 地址来防止这种情况。 我唯一能做的就是旋转User-Agent。 您能告诉我如何添加轮换代理和轮换 IP 地址吗？

我知道它应该添加到request.get() 部分，但我不知道如何。

这是我的代码：

from bs4 import BeautifulSoup
import requests

headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36'}

term = 'usa'
page=0

for page in range(1,5):

    page = page*10

    url = 'https://www.google.com/search?q={}&tbm=nws&sxsrf=ACYBGNTx2Ew_5d5HsCvjwDoo5SC4U6JBVg:1574261023484&ei=H1HVXf-fHfiU1fAP65K6uAU&start={}&sa=N&ved=0ahUKEwi_q9qog_nlAhV4ShUIHWuJDlcQ8tMDCF8&biw=1280&bih=561&dpr=1.5'.format(term,page)
    print(url)

    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    headline_text = soup.find_all('h3', class_= "r dO0Ag")

    snippet_text = soup.find_all('div', class_='st')

    news_date = soup.find_all('div', class_='slp')

    print(len(news_date))

Answer 1

还有一个更简单的技巧，比如在 Brave Tor 浏览器中使用Google colab，然后查看结果会得到不同的 ip 地址。

因此，一旦您获得所需的数据，您就可以在 jupyter notebook 或 VS Code 或其他地方使用该数据。

看，截图中的结果：

使用免费代理会出错，因为免费代理上的请求太多，因此，您必须每次选择不同的代理，其代理的流量较低，因此从数百个中选择一个是一项糟糕的任务。

使用 Brave Tor VPN 获得正确结果：

Answer 2

您可以使用https://gimmmeproxy.com 来旋转代理，它是python 包装器：https://github.com/DeyaaMuhammad/GimmeProxyApi。

proxy = GimmeProxyAPI(protocol="https")

proxies = {
  'http': proxy,
  'https': proxy
}

requests.get('https://example.org', proxies=proxies)

Answer 3

如果您的问题是“如何做才能不被禁止？”，那么答案是“不要违反 TOS”，这意味着完全不进行抓取并使用正确的搜索 API。 根据您使用的 IP 地址，有一定数量的“免费”谷歌搜索使用。因此，如果您只抓取少量搜索，这应该没问题。

如果您的问题是“如何将代理与请求模块一起使用？”，那么您应该开始查看 here。

import requests

proxies = {
  'http': 'http://10.10.1.10:3128',
  'https': 'http://10.10.1.10:1080',
}

requests.get('http://example.org', proxies=proxies)

但这只是 python 方面，您需要自己设置一个网络代理（或者甚至更好的代理池），然后使用算法在每 N 个请求中选择一个不同的代理。

Answer 4

如果您想学习网页抓取，最好选择其他网站，例如 reddit 或在线杂志。谷歌新闻（和其他谷歌服务）受到很好的保护，不会被抓取，它们会定期更改类的名称，以防止您以简单的方式进行操作。

Answer 5

您可以使用来自 Google 的适当 API 进行搜索：

https://developers.google.com/custom-search/v1/overview