避免机器人的页面重定向答案

【问题标题】：Avoid page redirect for bots避免机器人的页面重定向
【发布时间】：2019-11-06 03:01:01
【问题描述】：

第一次显示网站时，我需要用户确认他是 18 岁或以上（酒厂网站）。我的客户想要一个特定的页面（不是弹出窗口或弹出窗口），因此使用 cookie 存在，我重定向到该特定页面。如果您没有确认，您将无法访问任何页面。

这是 SEO 的问题，因为机器人（如 GoogleBot）无法正确索引网站。

我怎样才能避免专门针对机器人的重定向？或者如何识别用户是人还是机器人？

我正在使用 PHP，我尝试列出已知机器人并将其与 HTTP_USER_AGENT 进行比较，以防止重定向。但我不认为这是一个永久的解决方案（如果机器人改名，或者涉及新闻机器人怎么办？）。

$crawlers = array(
        'Googlebot',
        'Baiduspider',
        'ia_archiver',
        'R6_FeedFetcher',
        'NetcraftSurveyAgent',
        'Sogou web spider',
        'bingbot',
        'Yahoo! Slurp',
        'facebookexternalhit',
        'PrintfulBot',
        'msnbot',
        'Twitterbot',
        'UnwindFetchor',
        'urlresolver',
        'Butterfly',
        'TweetmemeBot'
    );
$implCrawlers = implode('|', $crawlers);
$isBot = (strpos($_SERVER['HTTP_USER_AGENT'], $implCrawlers ) !== false) ? true : false;
if (!$isBot) {
...
}

【问题讨论】：

标签： php redirect seo

【解决方案1】：

你可以去这个包https://github.com/JayBizzle/Crawler-Detect他们更新他们的回购作为爬虫改变他们的名字。

【讨论】：

似乎对我有用。 :) 我尝试使用 Search Console，现在 Google 不再关注重定向了。