【发布时间】:2018-12-05 10:03:15
【问题描述】:
我网站上的许多页面上都有 Google 街景(静态版)。因此,Googlebot 会在我的 Google API 帐户上运行并生成大量活动,从而产生大量费用。
我不想阻止 Google 爬取我的网站或发现我自己的图片,但我想以某种方式检测机器人正在访问该网站,并以某种方式仅为机器人注释掉 Streetview。
这个:User-agent: Googlebot-ImageDisallow: /images/image.jpg
在这种情况下将无法工作,因为 Google 仍然会爬虫,但只是不包含结果。
【问题讨论】:
标签: api web-crawler googlebot