【问题标题】:Stop googlebot spidering Google Street view停止 googlebot 抓取 Google 街景
【发布时间】:2018-12-05 10:03:15
【问题描述】:

我网站上的许多页面上都有 Google 街景(静态版)。因此,Googlebot 会在我的 Google API 帐户上运行并生成大量活动,从而产生大量费用。

我不想阻止 Google 爬取我的网站或发现我自己的图片,但我想以某种方式检测机器人正在访问该网站,并以某种方式仅为机器人注释掉 Streetview。

这个:
User-agent: Googlebot-Image
Disallow: /images/image.jpg
在这种情况下将无法工作,因为 Google 仍然会爬虫,但只是不包含结果。

【问题讨论】:

    标签: api web-crawler googlebot


    【解决方案1】:

    只是一个随机的想法,但也许是为了回答我自己的问题:

    1. 将街景放置在 iframe 中显示的新网页。
    2. 在新页面的 META 标记中添加一个 NOINDEX。

    【讨论】:

      猜你喜欢
      • 2021-03-22
      • 1970-01-01
      • 2010-11-29
      • 1970-01-01
      • 2014-08-04
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多