我完全被 SEO 问题难住了，我真的可以从专家那里得到一些指导。我们最近建立了一个网站，http://www.ecovinowines.net，因为它都是关于葡萄酒的，所以我们设置了一个年龄验证，要求用户在进入网站之前点击。通过使用 cookie，我们可以防止用户在点击年龄验证链接之前访问网站中的任何页面。自启动该网站以来已经有几个月了，所以我想我会在谷歌上查看一些关键字。我只是输入了网站的名称，看看哪些页面会被索引，它只显示年龄验证页面。从我所做的谷歌搜索来看，谷歌机器人显然不会看到年龄验证背后的任何内容，因为它们忽略了 cookie。
没有安全的解决方法吗？我查看了新比利时的网站，该网站使用了类似的年龄验证链接，并且所有页面似乎都被编入索引。一旦您从谷歌点击其中一个链接，它会将用户重定向到年龄验证页面。他们不使用cookies吗？或者他们如何解决 cookie 机器人问题。
【问题讨论】：
标签： seo
对 Google bot 的用户代理进行测试，如果匹配则允许访问。您可能也想让其他搜索引擎通过...
Googlebot/2.1 (+http://www.google.com/bot.html)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
Mozilla/5.0（兼容；Yahoo! Slurp；http://help.yahoo.com/help/us/ysearch/slurp）
Mozilla/5.0（兼容；Googlebot/2.1；+http://www.google.com/bot.html）
ia_archiver
【讨论】：
Google 的半官方回应：
此主题会定期出现在网站（酒精、色情等）上 需要在每个页面上提供年龄验证通知。我们做什么 在这种情况下，建议通过 JavaScript 提供服务。这样用户 可以在他们尝试访问您的内容时看到年龄验证， 但不运行 JavaScript 的搜索引擎不会看到警告，并且 而是能够看到您的内容。
我认为更现代的技术是正常渲染所有内容，然后用 Javascript 覆盖将其隐藏。
我快速浏览了新比利时，但不清楚他们在做什么。需要进一步调查。
【讨论】：
假设您使用的是 PHP，这样的事情就可以完成。如果需要，您需要添加其他机器人。
$isBot = strpos($_SERVER[‘HTTP_USER_AGENT’],"Googlebot");
然后您可以根据该变量打开或关闭您的年龄验证。
【讨论】：