【问题标题】:Googlebot checks my comments every 7 secondsGooglebot 每 7 秒检查一次我的评论
【发布时间】:2012-02-29 13:17:39
【问题描述】:

不知道还能去哪里问,但从一天到另一天,我的 Wordpress 网站每天收到 500 个垃圾邮件 cmets。没有问题,我添加了垃圾邮件拦截器。

现在我检查了我网站的访问者,发现 googlebot 每分钟检查 /wp-cmets-post.php 7 次。

是这是个问题?以及如何解决这个问题?

【问题讨论】:

  • 只有你知道这是否是一个问题——你的网络服务器不能处理负载吗? 每 7 秒 != 每分钟 7 次
  • 我不知道是不是问题 :-) 我从来没有见过这个。
  • @Justmac 我不会担心... WordPress 有足够强大的服务器来处理负载。如果您发现任何性能问题,那么这将是一个问题,但是每 9 秒被 google bot 抓取一次并不足以导致您网站的性能下降。

标签: web-crawler bots googlebot


【解决方案1】:

我不会担心,除非:

  1. 增加的负载正在减慢您的网站速度
  2. Googlebot 无法访问其他页面,因为它处于某种循环(即蜘蛛陷阱)中

Social is a big initiative for Google 今年和他们最近出现在crawling and indexing Facebook comments。所以他们也对 Wordpress cmets 感兴趣是有道理的。

如果您真的很担心,或者它对您的网站造成负面影响,您可以随时在 robots.txt 中屏蔽该页面,Googlebot 就不会再点击它了。

【讨论】:

    猜你喜欢
    • 2014-04-15
    • 2013-04-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-11-03
    • 1970-01-01
    相关资源
    最近更新 更多