【问题标题】:Avoiding duplicate-content hit on Google for archive pages?避免在 Google 上针对存档页面的重复内容命中?
【发布时间】:2011-06-28 13:18:24
【问题描述】:

我网站上的每篇博文 -- http://www.correlated.org -- 都存档在其自己的永久链接 URL 中。

在每个存档页面上,我想不仅显示存档帖子,还显示之前发布的 10 篇帖子,以便人们更好地了解博客提供的内容类型。

我担心的是,Google 和其他搜索引擎会将这些其他帖子视为重复内容,因为每个帖子都会出现在多个页面上。

在我的另一个博客上——http://coding.pressbin.com——我试图通过将早期的帖子加载为 AJAX 调用来解决这个问题,但我想知道是否有更简单的方法。

有什么方法可以向搜索引擎发出信号,表明页面的特定部分不应被编入索引?

如果没有,有没有比 AJAX 调用更简单的方法来做我想做的事情?

【问题讨论】:

  • 在我们在开始页面和存档页面上展开文章的网站上遇到同样的问题。当我们扩展内容时,我们不使用 hashbangs,而是使用 history.pushState
  • 不完全是您要查找的内容,但如果您不发布完整的其他文章,而只是发布他们的标题和简短的摘录并链接到他们,那么用户和搜索引擎可能会更清楚。

标签: ajax seo permalinks duplicate-data


【解决方案1】:

警告:这尚未在野外进行测试,但根据我对 Google Webmaster Central 博客和 schema.org 文档的阅读应该可以工作。总之……


这似乎是一个使用microdata 构建内容的好用例。这涉及将您的内容标记为 Article 类型的 Rich Snippet,如下所示:

   <div itemscope itemtype="http://schema.org/Article" class="item first">
      <h3 itemprop="name">August 13's correlation</h3>        
      <p itemprop="description" class="stat">In general, 27 percent of people have never had any wisdom teeth extracted. But among those who describe themselves as pessimists, 38 percent haven't had wisdom teeth extracted.</p>
      <p class="info">Based on a survey of 222 people who haven't had wisdom teeth extracted and 576 people in general.</p>
      <p class="social"><a itemprop="url" href="http://www.correlated.org/153">Link to this statistic</a></p>  
   </div>

注意使用 itemscope、itemtype 和 itemprop 来定义页面上的每篇文章。

现在,根据谷歌、雅虎和必应支持的schema.org,搜索引擎应该尊重上面itemprop="url"描述的规范网址:

规范参考

通常,链接是使用元素指定的。例如, 以下 HTML 链接指向《捕手》一书的维基百科页面 黑麦。

<div itemscope itemtype="http://schema.org/Book">
  <span itemprop="name">The Catcher in the Rye</span>—
  by <span itemprop="author">J.D. Salinger</a>
  Here is the book's <a itemprop="url"

href="http://en.wikipedia.org/wiki/The_Catcher_in_the_Rye">维基百科 页。

因此,当以这种方式进行标记时,Google 应该能够正确地确定哪条内容属于哪个规范 URL,并在 SERP 中相应地对其进行加权。

完成对内容的标记后,您可以使用Rich Snippets testing tool 对其进行测试,这应该可以让您在将其投入生产之前很好地了解 Google 对您的网页所做的事情。


附言最重要您可以做的避免重复内容惩罚的事情是修复永久链接页面上的标题。目前他们都在阅读“Correlated - 发现令人惊讶的相关性”,这将导致您的排名受到巨大冲击。

【讨论】:

  • Iteressting。将尝试使用规范的 itemprop
  • postscript -> 他们会因为 Correlated/correlations 的重复而“受到打击”吗?
  • 没有@Kieran - 他们会受到打击,因为每个永久链接页面上的标题都是相同的。每个页面的标题应该是唯一的。在此处查看重复的标题:correlated.org/153、correlated.org/153
【解决方案2】:

我很害怕,但我认为不可能告诉搜索引擎您的网页的特定区域不应被索引(例如您的 HTML 源代码中的 div)。对此的解决方案是使用 Iframe 来处理您不使用搜索引擎索引的内容,因此我将使用带有适当标签 Disallow 的 robots.text 文件来拒绝访问链接到 Iframe 的特定文件。

【讨论】:

    【解决方案3】:

    您不能告诉 Google 忽略网页的某些部分,但您可以以搜索引擎无法找到的方式提供该内容。您可以将该内容放在 &lt;iframe&gt; 中,也可以通过 JavaScript 提供。

    我不喜欢这两种方法,因为它们很老套。您最好的选择是从搜索引擎中完全阻止这些页面,因为无论如何所有内容都是重复的。您可以通过以下几种方式实现:

    1. 使用 robots.txt 阻止您的档案。如果您的档案在他们自己的目录中,那么您可以轻松地阻止整个目录。您还可以阻止单个文件并使用通配符来匹配模式。

    2. 使用&lt;META NAME="ROBOTS" CONTENT="noindex"&gt;标签阻止每个页面被索引。

    3. 使用X-Robots-Tag: noindex HTTP 标头阻止每个页面被搜索引擎索引。这在效果上与使用 ` 标记相同,尽管这更容易实现,因为您可以在 .htaccess 文件中使用它并将其应用于整个目录。

    【讨论】:

      猜你喜欢
      • 2013-04-15
      • 1970-01-01
      • 1970-01-01
      • 2011-02-19
      • 2012-09-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多