如何关闭/打开网页中的索引

Question

我在 Ubuntu Server 12.04 上使用 Nutch 1.6 和 Solr 4.3 我想打开和关闭内容索引。有没有办法在我的 HTML 页面中指定这种行为，以便 Solr 可以做出相应的行为？

例如，在使用 Google Search Appliance 时，我会在页面上我不想编入索引的内容（页眉、页脚、版权字符串等）周围使用“googleon”-“googleoff”标签。

谢谢

Answer 1

您需要为 Nutch 创建一个自定义插件才能完成此行为。以下是一些带有示例的相关链接。

• Apache nutch: Manipulating the DOM before parsing
• Precise data extraction with Apache Nutch

Answer 2

有一个文本文件“robots.txt”向搜索引擎提供有关允许或不允许程序查找内容的 html 页面的信息。在链接FAQ robots.txt: How to stop indexing你会找到所有的信息。