为 ASP.NET MVC 站点创建 robots.txt

Question

我正在为我的网站创建一个 robots.txt 文件，但查看我的项目结构，我不确定要禁止什么。

我是否需要禁止标准 .NET MVC 目录和文件，例如 /App_Data、/web.config、/Controllers、/Models、/Global.asax？或者那些还没有被索引？

像 /bin 和 /obj 这样的目录呢？

如果我想禁止某个页面，是禁止 /Views/MyPage/Index.cshtml 还是 /MyPage？

另外，在 robots.txt 文件中指定站点地图时，我可以使用我的 Web.sitemap，还是需要使用不同的 xml 文件？

Answer 1

'robots.txt' 指的是从网络爬虫公开看到的路径。

爬虫并没有什么特别之处：它只是像用户一样使用 HTTP 从您的网站请求页面。

因此，如果您的 MVC 站点已正确配置，/web.config 之类的文件或您提到的路径将不会对外界可见，因为 IIS 和您的应用程序都不会配置为为它们提供服务。即使它被指向那些文件，蜘蛛也会收到 404 Not Found 并继续。

同样，您的 .cshtml 或 .aspx 内容文件不会与这些扩展名一起显示。相反，网络爬虫会准确地看到您将向用户显示的内容。