如何为前端和后端 Web 服务器实现 robots.txt 文件？

Question

• 前端 Web 服务器：IIS 7.5
• 后端 Web 服务器：Tomcat 5.5.28。
• 两者都在同一台机器上。
• IIS 使用 AJP 连接器 -- isapi 过滤器 -- 将适当的请求传递给 Tomcat。

IIS 正在使用 robots.txt 文件来阻止网络爬虫访问网络文件。它的位置是inetpub\wwwroot\robots.txt。这是它的内容：

 User-agent: *
 Disallow: /

Tomcat 应用程序位于inetpub\wwwroot\tomcatapp\ 目录中。换句话说，任何包含tomcatapp 目录的请求都会从 IIS 转发到 Tomcat。

我是否需要在 Tomcat 上下文中添加一个 robots.txt 文件（即 tomcatapp），如果需要，我应该把它放在哪里？我问是因为我不知道搜索机器人是只读取前端 Web 服务器还是它们也能够读取后端 Web 服务器。

非常感谢您的帮助。

Answer 1

robots.txt 仅在 您的域的根文件夹 中才有意义。它根本不是安全方面，只是对“友好”搜索引擎的提示，让他们知道您希望他们索引哪些页面。

不要将您的 Tomcat 应用程序放在 wwwroot 文件夹中，因为如果 AJP 映射失败，所有目录和文件都可以访问。将其放在其他位置并映射到该目录，因此只有 Tomcat 能够访问它。