为什么 nutch 不抓取没有英文网站的所有链接？答案

【问题标题】：why nutch dosen't crawl all links in no English language sites?为什么 nutch 不抓取没有英文网站的所有链接？
【发布时间】：2014-02-22 15:31:01
【问题描述】：

我使用 nutch 1.4 抓取一个站点，我知道 nutch 不会抓取该站点中的所有链接。我没有过滤器，也没有限制规则来爬行。例如 nutch 从不抓取此链接：

http://www.irna.ir/News/30786427/سوء-استفاده-از-نام-كمیته-امداد-برای-جمع-آوری-رای-در-مناطق-محروم/سياسي/

如果我将此链接提供给 nutch 抓取，nutch 永远不会抓取此链接。这个网站是波斯语而不是英语。我怎样才能抓取这个链接？

【问题讨论】：

【解决方案1】：

Nutch 在将其添加到 crawldb 之前，会对每个 url 运行 URL 规范化和其他 url 处理内容。您的网址本身可能已被过滤。您可以从使用的插件列表（conf/nutch-site.xml 中的plugin.includes 属性）中删除这些插件，然后重试。

【讨论】：

【解决方案2】：

它可能无法获取非英语 URL 的一个原因是 www.irna.ir 的网络服务器和使用的 nutch 客户端使用的 URL 编码不同。

【讨论】：