Wordpress Robots.txt /feed 重要吗？

Question

我有一个关于 SEO、Robots.txt 和 wordpress 的问题

这是我的 robots.txt 的样子：

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

在 Google 网站管理员工具中，我看到这样的网址受到限制：

http://www.domain.com/date/article-title/feed/

这是因为我假设的 Disallow /feed，现在真正的文章标题是相同的 url，没有 '/feed/' http://www.domain.com/date/article-title/

我的问题是正确的 URL 是否仍会被搜索引擎编入索引？或者我应该从 robots.txt 中删除它吗？你对 robots.txt 有什么看法？ txt 文件。

Answer 1

Feed 本身不会被编入索引，但如果其中包含的 URL 没有在 robots.txt 文件中明确阻止，则可以将其编入索引。

只要您的所有博客文章都被编入索引，就可以毫无问题地阻止其他内容。看起来某些被阻止的页面对用户和搜索引擎（即登录页面、引用页面）或潜在的重复内容问题（即档案、标签页面）毫无用处。无用的页面应该被彻底屏蔽。我会让归档和标签页面被抓取但不被索引。这样，搜索引擎可以跟踪这些页面上的链接，这将帮助他们找到您的所有内容。这不会通过 robots.txt 完成，而是通过 meta tag or HTTP header 完成。