在 wordpress 中即时停止 robots.txt 创建答案

【问题标题】：stop robot.txt on the fly creation in wordpress在 wordpress 中即时停止 robots.txt 创建
【发布时间】：2012-01-19 12:13:11
【问题描述】：

我的根文件夹中没有 robots.txt 文件，但我可以通过 example.com/robots.txt 访问它，它显示了以下内容：

       User-agent: *
       Disallow:

在对 Google 进行一些研究后，我了解到它是动态生成的，因为我的网站是在 wordpress 中的。有人可以帮我在 wordpress 中即时停止 robots.txt 的创建吗？

【问题讨论】：

我不确定WP是否会自动生成robots.txt。你有那个来源吗？我的印象是没有。（如果允许，它确实会生成.htaccess 文件）您是否安装了一些插件来执行此操作？
还要注意robot.txt与robots.txt不同——只有后者对爬虫有任何影响。
还值得检查所选主题的代码，因为我相信它也可以挂钩/过滤 robots.txt 请求。

【解决方案1】：

这是在 wp-includes/functions.php 第 1845 行（在 3.3.1 中）生成的，您可以过滤结果：

echo apply_filters('robots_txt', $output, $public);

所以，如果你不希望它包含任何东西，你可以添加一个过滤器并返回一个空字符串。 WordPress 使用它来响应博客/网站的隐私设置（如果设置是阻止搜索引擎，则 $public 设置为“0”）。希望这会有所帮助！

【讨论】：