谷歌搜索和限制内容？ [关闭]

Question

如果一个网站有一个内容如果有人没有登录就看不到，那么，谷歌如何看到它？

该页面是电子商务，访问受限（用户必须登录才能查看产品）页面；因此 Google 看不到这些产品？

处理这个问题的正确策略是什么？

Answer 1

如果是 Google-Adsense，这个问题可能是有道理的。 Google 为此提供了站点身份验证功能：请参阅 - Google AdSense launches site authentication

您可以向 google 提供您的用户名和密码，然后 google bot 可以抓取您受保护的页面 - 这样当访问者访问该页面时，它可以更好地投放有针对性的广告。

另外 - 如果这不是预期目的，请记住向 Google 提供不同的内容与向没有用户名和密码的用户提供的内容是明显错误的。
想象一下，你在谷歌上搜索了一些东西，当你点击第一个链接时——网站出现了一个注册页面，但没有任何有用的信息！！

Answer 2

您可以使用提供的 User Agent 标头来检测 Google bot 是否正在访问您的站点并将其处理为好像该 bot 是已登录的普通用户一样。这在 phpBB 之类的程序中实现（在该程序中作为特殊的可见性选项）。

该解决方案的缺点是您不能依赖提交的 User Agent 标头，因为很容易发送精心设计的标头，因此您在网站上显示为 Google bot（有扩展，例如用于 Firefox提供此类功能）。