【发布时间】:2010-01-05 07:39:00
【问题描述】:
有一种方法可以从 google 的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分?例如,排除通常包含无关内容的侧边栏?
【问题讨论】:
标签: web-crawler google-search-console
有一种方法可以从 google 的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分?例如,排除通常包含无关内容的侧边栏?
【问题讨论】:
标签: web-crawler google-search-console
您可以使用 IFRAME 标记包含要在 Googlebot 中隐藏的页面部分,并阻止将 robots.txt 文件中包含的文件编入索引。
添加 iframe 以在页面中包含侧边栏
<iframe src ="sidebar.asp" width="100%" height="300">
</iframe>
这里要在 robots.txt 文件中添加规则以阻止蜘蛛
user-agent: *
disallow: sidebar.asp
【讨论】:
如果您是为 AdSense 执行此操作,请here's an article 了解如何从抓取工具中排除内容。如果您不希望 Google 跟踪链接,您可以给它们一个 rel="nofollow" 属性。否则,恐怕你在这里运气不好。
您可以做的其他事情,但我不一定推荐这样做,是在呈现您的页面之前检测用户代理,如果它是蜘蛛或机器人,则不显示您的页面部分你想排除。
【讨论】: