谷歌忽略了我的 robots.txt [关闭]

Question

这是我的 robots.txt 文件的内容：

User-agent: *
Disallow: /images/
Disallow: /upload/
Disallow: /admin/

如您所见，我明确禁止所有机器人索引文件夹images、upload 和admin。问题是我的一位客户发送了从图像文件夹中删除内容的请求，因为来自images 文件夹的 .pdf 文档出现在谷歌搜索结果中。谁能解释一下我在这里做错了什么，以及为什么谷歌将我的文件夹编入索引？

谢谢！

Answer 1

引用Google Webmaster Docs

如果我阻止 Google 使用 robots.txt 禁止抓取网页 指令，它会从搜索结果中消失吗？

阻止 Google 抓取网页可能会降低该网页的 排名或导致它随着时间的推移完全退出。它也可能 减少在下面的文本中提供给用户的详细信息 搜索结果。这是因为没有页面的内容，搜索 引擎可以处理的信息要少得多。

--

但是，robots.txt Disallow 并不能保证页面不会 出现在结果中：Google 可能仍会根据外部 相关的信息，例如传入链接。如果你希望 要明确阻止页面被索引，您应该改用 noindex 机器人元标记或 X-Robots-Tag HTTP 标头。在这种情况下， 您不应该在 robots.txt 中禁止该页面，因为该页面必须 被抓取以便标签被看到和遵守。

为文件夹中的所有文件设置带有 noindex 的 X-Robots-Tag 标头。从您的网络服务器配置中为文件夹设置此标头。 https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=de

1. 从 Apache Config 为 pdf 文件设置标题：

   <Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>

2. 禁用此文件夹的目录索引/列表。

3. 添加一个带有“noindex”机器人元标记的空 index.html。

   <meta name="robots" content="noindex, nofollow" /> <meta name="googlebot" content="noindex" />

4. 使用网站管理员工具手动强制删除索引页面。

---

评论中的问题：如何禁止文件夹中的所有文件？

// 1) Deny folder access completely
<Directory /var/www/denied_directory>
    Order allow,deny
</Directory>

// 2) inside the folder, place a .htaccess, denying access to all, except to index.html
Order allow,deny
Deny from all
<FilesMatch index\.html>
        Allow from all
</FilesMatch>

// 3) allow directory, but disallow specifc environment match
BrowserMatch "GoogleBot" go_away_badbot
BrowserMatch ^BadRobot/0.9 go_away_badbot

<Directory /deny_access_for_badbot>
order allow,deny
allow from all
deny from env=go_away_badbot
</Directory>  

// 4) or redirect bots to main page, sending http status 301
BrowserMatch Googlebot badbot=1
RewriteEngine on
RewriteCond %{ENV:badbot} =1
RewriteRule ^/$ /main/  [R=301,L]