htaccess ajax 调用并从搜索引擎中隐藏 html

Question

所以我开发了一个简单的网站，它使用 ajax 调用来显示 html 文件。 问题是像谷歌这样的搜索引擎找到了 html 文件，当我们点击链接时，我们当然会看到一个糟糕的 html 文件脱离了网站的上下文。 所以我猜我有一些工作要处理 htaccess 文件来处理这个但是如何？ 我的想法是使用 htaccess rewriterule 将任何 .html 文件重定向到主 index.php 文件。

类似的东西： - www.my.com/team.html 将调用 www.my.com/index.php，它将检测查询字符串 team.html 并将继续 ajax 加载相应的 html 文件。

请问这怎么可能？

Answer 1

通常所有搜索引擎都尊重 robots.txt 文件中设置的术语。如果您希望网站中特定文件夹中的文件不被抓取，robots.txt 可以指示搜索引擎服从。

如果你想了解它，这里是链接：http://www.robotstxt.org/robotstxt.html

例如，您可能会看到http://www.google.co.in/robots.txt。