抓取谷歌时无法使用 Tor 更改身份

Question

我正在尝试自动化谷歌搜索，但不幸的是我的 IP 被阻止了。经过一番搜索，似乎使用Tor 可以动态地为我获取一个新IP。但是，将以下代码块添加到我现有的代码中后，即使在新 IP 下，谷歌仍会阻止我的尝试。所以我想知道我的代码有什么问题吗？

代码（基于this）

from TorCtl import TorCtl
import socks
import socket
import urllib2

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9050)


__originalSocket = socket.socket

def newId():
    ''' Clean circuit switcher

    Restores socket to original system value.
    Calls TOR control socket and closes it
    Replaces system socket with socksified socket
    '''
    socket.socket = __originalSocket
    conn = TorCtl.connect(controlAddr="127.0.0.1", controlPort=9051, passphrase="mypassword")
    TorCtl.Connection.send_signal(conn, "NEWNYM")
    conn.close()
    socket.socket = socks.socksocket

## generate a new ip
newId()

### verify the new ip
print(urllib2.urlopen("http://icanhazip.com/").read())

## run my scrape code
google_scrape()

新的错误信息

<br>Sometimes you may be asked to solve the CAPTCHA if you are using advanced terms that robots are known to use, or sending requests very quickly.
</div>

IP address: 89.234.XX.25X<br>Time: 2017-02-12T05:02:53Z<br>

Answer 1

Google（以及许多其他网站，例如受 Cloudflare “保护”的网站）通过 Tor 出口节点的 IP 地址过滤来自 TOR 的请求。他们可以这样做是因为 Tor 出口节点的 IP 地址列表是public。

因此更改您的身份 - 这反过来会改变您的 Tor 电路，并可能导致使用不同的出口节点，从而使用不同的 IP（尽管不能保证后两者） - 不会对该块起作用。

对于您的用例，您可能会考虑使用 VPN 而不是 Tor，因为它们的 IP 地址不太可能被阻止。特别是如果您使用非免费 VPN。