在哪里放置带有 G-WAN 的 robots.txt 文件？答案

【问题标题】：Where to place the robots.txt file with G-WAN?在哪里放置带有 G-WAN 的 robots.txt 文件？
【发布时间】：2016-03-16 03:29:29
【问题描述】：

我想禁止机器人抓取csp 文件夹并计划使用以下 robots.txt 文件：

User-agent: *
Disallow: /csp

所以，我的问题是双重的：

【问题讨论】：

【解决方案1】：

well-documentedrobots.txt 文件应放在 /www G-WAN 文件夹中 - 如果您想使用此功能。 robots.txt 是对机器人的提示，其中许多机器人不尊重您的意愿（因此定义文件系统权限或在您不想被浏览的文件夹中使用 index.html 文件会更安全）。

/csp 目录无法被任何 HTTP 客户端（包括机器人）抓取。只有/www目录可以。

到目前为止，这种分离在简单性、设计和安全性方面都非常有效，避免了决定什么是可执行和什么是表示层的陷阱。

【讨论】：

是否可以将 G-wan 配置为纯粹作为静态内容服务器或纯粹作为动态内容服务器运行？我想这将消除查询字符（？）而无需任何 url 重写成本。无论如何，生产中的大多数服务器都会将静态内容卸载到 CDN。
要拥有静态服务器，请删除 /csp 和 /handlers 文件夹。要拥有动态服务器，请在 /www 文件夹中放置任何内容。如果没有 G-WAN 脚本与请求匹配，则搜索 STATIC 文件，然后请求可以带有“？”查询字符。