将 HTML 快照提供给 Moz SEO 机器人

Question

我每天都在使用 Phantom 在我的网站上预呈现动态页面。然后，我编写了一些代码来检查请求的用户代理，如果请求来自机器人，则提供预呈现的 HTML 快照。我的机器人数组是：

var socialBots = [
  "facebookexternalhit/1.0", "facebookexternalhit/1.1", "FacebookExternalHit", 
  "twitterbot", "TwitterBot", "Twitterbot/1.0", 
  "LinkedInBot",
  "rogerBot", "rogerBot/1.0"
];

然后我的 nodeJS 代码（使用 Express）来监听机器人并提供快照：

app.use(function(req, res, next){

  var userAgent = req.get("user-agent"), 
      socialBot = false;    

  for (i=0; i<socialBots.length; i++) { 
    if (userAgent.indexOf(socialBots[i]) > -1) {
      socialBot = true;
      break;
    }
  }

  if (socialBot) {
    //serve snapshot
  }

});

这适用于 Facebook 和 Twitter，但数组的最后一行 rogerBot 应该用于 Moz SEO 并且似乎不起作用。 Moz SEO 在上次抓取时没有得到我的快照。我只是弄错了用户代理还是其他原因？

Answer 1

RogerBot 的用户代理是：

rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot-, rogerbot-crawler+shiny@moz.com)

你需要将rogerBot小写为

罗格博特