如何阻止搜索引擎搜索 pdf？答案

【问题标题】：How do I keep search engines from searching a pdf?如何阻止搜索引擎搜索 pdf？
【发布时间】：2020-05-26 00:04:06
【问题描述】：

我已经在 WordPress 中建立了一个网站，并为会员设置了用户登录名。因此，任何拥有该用户名和密码的人都可以在登录后查看该页面。其他人只需继续查看该站点即可。所以我得到了这个工作，除了客户之外，所有的人都输入了诸如 PDF 之类的信息供用户在该页面上查看，并且这个客户正在网络上搜索 PDF 包含的名称，并且它不应该对公众开放，但仅限于那些谁登录了。有什么方法可以私下设置搜索引擎不搜索的 PDF。如果我可以将它设置为不仅没有链接的人可以查看它，只有那些登录的人可以查看它。

【问题讨论】：

它属于SO吗？应该在wordpress.stackexchange.com 或webapps.stackexchange.com
And if i can set it up where not just no one with the link can view it, only those who are logged in. -- 这解决了你真正的根本问题。如果您的身份验证系统正常工作，谷歌首先将无法获取 pdf；同样，简单地向搜索引擎隐藏文件并不能防止对文件的未经授权的访问。
@FrankFarmer 好吧，我正在使用一个插件来重定向某个用户角色。

标签： wordpress indexing search-engine

【解决方案1】：

解决方案 1：密码保护

使用 HTTP 基本身份验证保护网站是阻止其他任何人访问该网站的最佳方式。但是，当您进行演示观众测试时，这并非总是可行的。

解决方案 2：Robots.txt

Google 提供的另一个解决方案是使用 Robots.txt 文件告诉机器人不要抓取或列出结果中的页面。但这并不总是一个解决方案。 Google 的 Matt Cuts 已确认，如果 Google 认为相关，Google 可能会包含来自此类网站的页面。

User-agent: *
Disallow: /

添加您的文件名以禁止

解决方案 3：使用 .htaccess RewriteCond

因此，解决方案是阻止 Google 和其他类似机器人访问您的网站。为此，请将以下代码放入您的 htaccess 中。

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

将最后一行中的 URL 更改为您的主站点，以便在有人链接到您被阻止的站点时您的站点获得 SEO 排名。

解决方案 4：请求 Google 删除

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=164734&from=61062&rd=1

解决方案 5：您可能希望使用的其他工具很少

http://www.debianhelp.co.uk/htaccessweb.htm

【讨论】：

"使用 htaccess 密码保护站点是阻止其他人访问该站点的最佳方法。"这绝对不是最好的方法。如果您的管理员关闭了对 htaccess 文件的支持以提高性能，它将披露通过这种“最佳方式”隐藏的任何内容。
@joerg HTTP 基本身份验证要求可以在主 apache 配置而不是 htaccess 中进行配置，这解决了您对 AllowOverride 指令的担忧

【解决方案2】：

使用 robots.txt 文件来告诉爬虫不要查看您的 pdf 文件像这样的：

User Agent: *
Disallow: /*.pdf$

看here

【讨论】：

请注意，robots.txt 条目不会被抓取，而是the url may still be included in the google index (without content)。需要一个 noindex 指令来防止索引包含。但即使这样也不能解决用户故意与未经授权的用户共享网址的问题。
你是对的，一个noindex指令是必要的，我忘了提，但都在链接中。此外，主要问题是如何阻止搜索引擎访问 pdf。正如问题所定义的，用户访问控制是一项“值得拥有”的功能。

【解决方案3】：

在 robots.txt 文件中添加

用户代理：
禁止：/.pdf$

一段时间后，取决于搜索引擎更新索引您网站的速度。访问https://pdflookup.com 输入您的 PDF 标题进行检查。您的 PDF 不会显示在搜索结果中。

【讨论】：