我不太了解 SEO 和网络蜘蛛的工作原理，所以请原谅我的无知。我正在创建一个站点（使用 ASP.NET-MVC），该站点具有显示从数据库检索到的信息的区域。数据对用户来说是唯一的，因此没有真正的服务器端输出缓存正在进行。但是，由于数据可能包含用户可能不希望从搜索引擎结果中显示的内容，我想阻止任何蜘蛛访问搜索结果页面。我应该采取什么特殊措施来确保不抓取搜索结果目录？此外，蜘蛛是否会爬取动态生成的页面？是否会阻止某些目录被搜索的任何操作扰乱我的搜索引擎排名？
编辑：我应该补充一下，我正在阅读robots.txt 协议，但它依赖于网络爬虫的合作。但是，我还想阻止任何会忽略 robots.txt 文件的数据挖掘用户。
感谢您的帮助！
【问题讨论】：
标签： asp.net-mvc seo search-engine bots web-crawler
查看Robots exclusion standard。它是您放在网站上的文本文件，它告诉机器人它可以索引什么，不能索引什么。您还需要解决如果机器人不遵守 robots.txt 文件会发生什么。
【讨论】：
您可以通过在服务器上实施限制来防止某些恶意客户端过多地攻击您的服务器。 “抱歉，你的IP在这几分钟内向这个服务器发出了太多的请求，请稍后再试。”但在实践中，假设您无法阻止真正的恶意用户绕过您设置的任何限制机制。
鉴于此，这是更重要的问题：
您对向全世界公开的信息感到满意吗？ 您的用户对此感到满意吗？
如果这些问题的答案是否定的，那么您应该确保只有授权用户才能看到敏感信息。如果信息不是特别敏感，但您不希望客户端抓取它，限制可能是一个不错的选择。无论如何，您是否有可能被爬网？如果没有，robots.txt 应该没问题。
【讨论】：
您似乎有 2 个问题。
首先是对某些数据出现在搜索结果中的担忧。第二个关于恶意或不道德的用户获取用户相关数据。
第一个问题将通过适当使用 robots.txt 文件来解决，因为所有大型搜索引擎都尊重这一点。
第二个问题似乎更多地与数据隐私有关。立即浮现在脑海中的第一个问题是：如果存在人们可能不想显示的用户信息，您为什么要完全提供它？
此类数据的隐私政策是什么？
用户是否有能力控制提供哪些信息？
如果信息可能敏感但对系统很重要，是否可以对其进行限制，使其仅对登录用户可用？
【讨论】：
robots.txt 文件，如前所述。如果这还不够，那么您可以：
也许通过使用组合。无论哪种方式，它都是一种权衡，如果公众可以浏览它，那么机器人也可以。确保您在尝试阻止机器人时不会阻止和疏远他人。
【讨论】：
几个选项：
【讨论】：