URL 阻止机器人答案

【问题标题】：URL Blocking BotsURL 阻止机器人
【发布时间】：2020-02-09 17:24:49
【问题描述】：

我有一个客户，我正在尝试通过 SSL 免费设置 SSL 证书，就像我之前做过 100 次一样。

我在public_html下创建了文件结构：

然后我尝试下载证书并收到以下失败消息：

警告：您的验证网址未返回正确的内容到我们的验证服务器。该网址看起来像是在阻止机器人并且无意中阻止我们的服务器接收正确的内容。联系您的房东、专业开发人员或管理员进一步帮助修复它。

我认为这是由于 robots.txt 文件造成的，查看了一下，其中包含以下内容：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

所以我将其更改为暂时允许所有机器人使用：

User-agent: * 
Disallow:

然后我重试了这个过程，上传了新的验证文件，但我仍然收到关于阻止机器人的 URL 的相同警告消息。有没有人遇到过这个问题并知道如何解决？

我还尝试通过 DNS .txt 记录和 FTP 进行验证，两者都返回相同的失败通知。

托管是通过 GoDaddy 进行的，他们使用的是 Linux cPanel。该网站是通过 WordPress 制作的。

输入 example.com/robots.txt 会返回正确的 robots.txt 文件。

感谢大家的帮助！

【问题讨论】：

【解决方案1】：

我现在已经解决了这个问题。正如我最初所想的那样，这确实与robots.txt 文件有关。它最初无法正常工作的原因是该站点仍然与旧文件一起缓存，这会阻止整个站点的机器人。

我在.htaccess 文件中添加了一些代码来强制重新验证缓存：

ExpiresActive On
ExpiresDefault A1
Header append Cache-Control must-revalidate

完成此操作并使用我的新 robots.txt 文件后，我能够将新的 SSL 证书安装到现在正在运行的网站上！我希望这对遇到同样问题的人有所帮助。

请记住之后删除上述代码，因为它会暂时停止您的网站缓存。

【讨论】：

【解决方案2】：

我在 SSL For Free 门户中解决了这个问题。单击“证书”链接中的更新后，我点击了“重新生成帐户”链接。然后通过通常的步骤进行更新并且它起作用了。

【讨论】：