【问题标题】:How to exclude part of a web page from google's indexing?如何从谷歌的索引中排除部分网页?
【发布时间】:2010-01-05 07:39:00
【问题描述】:

有一种方法可以从 google 的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分?例如,排除通常包含无关内容的侧边栏?

【问题讨论】:

    标签: web-crawler google-search-console


    【解决方案1】:

    您可以使用 IFRAME 标记包含要在 Googlebot 中隐藏的页面部分,并阻止将 robots.txt 文件中包含的文件编入索引。

    添加 iframe 以在页面中包含侧边栏

    <iframe src ="sidebar.asp" width="100%" height="300">
        </iframe>
    

    这里要在 robots.txt 文件中添加规则以阻止蜘蛛

    user-agent: *
    disallow: sidebar.asp
    

    【讨论】:

    • 这通常是一个很好的机制,但对于普通用户来说可能有缺点。
    • 这看起来不错,但是我的侧边栏是动态的,很难分开。
    • 看起来除非谷歌明确支持它,就像 AdSense 支持的那样,这是唯一的方法......
    【解决方案2】:

    如果您是为 AdSense 执行此操作,请here's an article 了解如何从抓取工具中排除内容。如果您不希望 Google 跟踪链接,您可以给它们一个 rel="nofollow" 属性。否则,恐怕你在这里运气不好。

    可以做的其他事情,但我不一定推荐这样做,是在呈现您的页面之前检测用户代理,如果它是蜘蛛或机器人,则不显示您的页面部分你想排除。

    【讨论】:

    • 伪装是一种非常危险的技术
    • 因此我的陈述中的“但我不一定建议这样做”部分 :)
    猜你喜欢
    • 2018-12-03
    • 1970-01-01
    • 1970-01-01
    • 2023-03-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-05-11
    • 1970-01-01
    相关资源
    最近更新 更多