普通用户可以使用 Google Cloud IP 吗？答案

【问题标题】：Do Google Cloud IP's can be used by normally users?普通用户可以使用 Google Cloud IP 吗？
【发布时间】：2017-08-03 07:09:51
【问题描述】：

经过几天的大规模攻击，其中大部分来自中国，今天我开始从谷歌云 IP 获得大量点击（他们甚至不关注 robots.txt 文件）我可以知道这是否是谷歌Bots Crawler 还是人们使用 Google Cloud IP 来抓取网站？如果我屏蔽它们会影响我的谷歌排名吗？

Ips 列表：

August 3, 2017, 12:00 am - 107.178.194.117 - 6
August 3, 2017, 12:00 am - 107.178.194.96 - 6
August 3, 2017, 12:00 am - 107.178.194.115 - 6
August 3, 2017, 12:00 am - 107.178.194.115 - 5
August 3, 2017, 12:00 am - 107.178.194.96 - 5
August 3, 2017, 12:00 am - 107.178.194.96 - 4
August 3, 2017, 12:00 am - 107.178.194.113 - 12
August 3, 2017, 12:00 am - 107.178.194.113 - 11
August 3, 2017, 12:00 am - 107.178.194.99 - 4
August 3, 2017, 12:00 am - 107.178.194.127 - 5
August 3, 2017, 12:00 am - 107.178.194.117 - 5
August 3, 2017, 12:00 am - 107.178.194.127 - 4
August 3, 2017, 12:00 am - 107.178.194.115 - 4
August 3, 2017, 12:00 am - 107.178.194.127 - 3

【问题讨论】：

标签： google-cloud-platform

【解决方案1】：

我建议进入谷歌的站长工具： https://www.google.com/webmasters/tools

在“抓取”部分，您可以准确地看到 Google 抓取工具在您的网站中执行的操作。

Google 抓取工具，仅遵循您已在 robots.txt google link 中设置的路径。这是一个例子：

#all crawlers
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /[dont-crawl-this-pad]/

#yahoo 
User-agent: Slurp
Allow: /
User-Agent: msnbot
Disallow: /

如果你怀疑某个ip在robots.txt中定义的路径外扫描网站，你可以毫不犹豫的屏蔽它，通过任何方式你都可以通过站长工具了解爬虫的状态，从而让你的网站保持定位

希望此信息有所帮助。

【讨论】：