robots.txt 不允许空白 PHP 页面和包含？ [关闭]

Question

我是否应该禁止 robots.txt 中的某些 PHP 页面，这些页面不打算向用户显示内容，而是运行脚本并返回空白或输出极少的代码以供其他地方使用？

例子：

• PHP 页面变为空白。示例是发送电子邮件的 PHP 页面
• 由 Ajax 调用但不输出任何内容的 PHP 页面。
• 由 Ajax 调用并输出响应代码（例如 JSON 或 XML）的 PHP 页面。
• 包括页面，例如页面标题或配置文件的模板。
• PHP 页面只是重定向到另一个页面。

感谢你们的帮助。

Answer 1

这些是搜索引擎不希望或不需要抓取和索引的内容的极好示例。你应该用你的 robots.txt 文件阻止这些。特别是如果抓取它们会导致发生仅用于人类消费的操作。

仅供参考，包含和配置文件不应位于您的 webroot 中，因此爬虫或用户无法通过网络访问。如果是，您应该考虑移动它们。