Nutch 1.14 - 不抓取页面中的所有链接答案

【问题标题】：Nutch 1.14 - not crawling all links in the pageNutch 1.14 - 不抓取页面中的所有链接
【发布时间】：2019-02-15 11:50:00
【问题描述】：

我已经让 nutch 1.14 与 Solr 6.4.2 一起使用 Nutch 没有抓取（跟踪）页面中的所有链接

<property>
  <name>db.ignore.internal.links</name>
  <value>false</value>
</property>
<property>
  <name>db.ignore.external.links</name>
  <value>false</value>
</property>

【问题讨论】：

我正在抓取nutch.apache.org 站点，因此假设没有机器人问题。 regex-urlfilter 是默认的，没有修改。 # 接受其他任何内容 +.
您能指定您使用哪些参数运行 Nutch 吗？缺少哪些链接？您是否更改了配置中的其他任何内容？

标签： solr web-crawler nutch

【解决方案1】：

这里有很多可能性，nutch-site.xml 包含许多属性。

你检查过这个吗：

<property>
   <name>db.max.outlinks.per.page</name>
   <value>100</value>
   <description>The maximum number of outlinks that we'll process for a page.
       If this value is nonnegative (>=0), at most db.max.outlinks.per.page outlinks
       will be processed for a page; otherwise, all outlinks will be processed.
   </description>
</property>

【讨论】：