如何在搜索引擎中隐藏 doc 文件答案

【问题标题】：How can I hide the doc file from the search engine如何在搜索引擎中隐藏 doc 文件
【发布时间】：2021-11-09 11:37:26
【问题描述】：

我面临一个问题，我可以从我的 asp.net 网站的搜索引擎中找到一个 doc 文件。有什么办法可以隐藏吗？

问候，精益

【问题讨论】：

robots.txt 文件可能会有所帮助 - 它被放置在根目录中。但是，它并不能阻止恶意爬虫寻找东西。参见例如stackoverflow.com/questions/9102914/… 对此进行一些讨论。
请提供足够的代码，以便其他人更好地理解或重现问题。

【解决方案1】：

如果您不想抓取，请使用 robots.txt 禁止文件。喜欢

User-agent: *
Allow: /User-agent: *
Allow: /
Disallow: /owa/

允许路径不允许禁止路径。用户代理是试图抓取的搜索引擎。

只需在您的根目录上创建 robots.txt

您可以确保将 doc 文件夹置于 disallow like 中

   User-agent: *
   Allow: /User-agent: *
   Allow: /
   Disallow: /docs/

用文档的地址文件夹更改文档。

【讨论】：

抱歉，我不熟悉 robots.txt，它是如何工作的？
元 description 和 keyword 与此无关。请删除，它看起来像垃圾邮件...
是的，但我认为您可以轻松地从 Disallow 中排除文档中的所有内容：/docs/ 仅显示您的文档在机器人 txt 中的位置。
只在根目录下添加？ index.html 中不需要任何额外的代码？ jus User-agent: * Allow: /User-agent: * Allow: / Disallow: /docs/ 在 robots.txt 中？
它只是从搜索引擎中隐藏了文档文件，对吗？但是用户仍然可以通过在地址栏中手动输入下载链接来访问它吗？