【发布时间】：2011-12-07 19:19:09
【问题描述】：
当 Google 的蜘蛛抓取我的一个网站时，它们会从选择列表中提取数据作为页面数据。我完全理解为什么会发生这种情况，但问题是，它可以以任何方式被阻止吗？我不想阻止整个页面被抓取，而只是选择列表数据。
问题如下：在谷歌搜索时，选择列表数据显示为页面摘要，而不是内容。描述标签是专门为帮助 SEO 和为潜在的网站访问者提供有用的信息而编写的，但它的预期功能没有得到实现。
查看此示例案例https://www.google.com/search?q=alaskan klee kai site%3Awiki-pet.com
这会损害网站搜索性能的有效性，因为超过 1 个页面在搜索结果中显示相同的数据。有超过 200 个页面具有完全相同的选择列表，便于导航。选择列表不会被删除。
我的一个想法是在页面出现后用 onload() 脚本填充内容
完全加载..有什么想法吗？
[编辑]
查看包含以下文本的搜索结果 #3 和 5：“All Breeds - - -, Affenpinscher, Afghan Hound, Airedale Terrier, Akbash Dog, Akita, Alapaha Blue Blood Bulldog, Alaskan Klee Kai, Alaskan ...”
这是直接来自相关页面上的选择列表的内容。
【问题讨论】：
-
我找到了 2 种可能的解决方案，这两种解决方案充其量都是粗略的。 1) 添加雅虎的 class=”robots-nocontent” 2) Google 有一个 标签用于可能有效的广告..
-
对于将来遇到此问题的任何人，我建议在页面加载完成后使用 JS 加载您不希望被蜘蛛抓取的项目（一种“延迟加载”）。