Apache Nutch NoSuchElementException 与 bin/nutch 注入、readdb、生成选项答案

【问题标题】：Apache Nutch NoSuchElementException with bin/nutch inject , readdb, generate optionsApache Nutch NoSuchElementException 与 bin/nutch 注入、readdb、生成选项
【发布时间】：2015-06-29 20:31:26
【问题描述】：

我是 Apache Nutch 2.3 和 Solr 的新手。我正试图让我的第一次爬行工作。我安装了官方文档中提到的 Apache Nutch 和 Solr，它们都运行良好。但是，当我执行以下步骤时，我得到了错误 - bin/nutch 注入示例/dmoz/ - 正常工作（InjectorJob：过滤器拒绝的 url 总数：2 InjectorJob：归一化过滤后注入的url总数：130）

错误 - $ bin/nutch 生成 -topN 5 GeneratorJob：开始于2015-06-25 17:51:50 GeneratorJob：选择要获取的得分最高的 url。 GeneratorJob：开始 GeneratorJob：过滤：真 GeneratorJob：规范化：真 GeneratorJob: topN: 5

java.util.NoSuchElementException
at java.util.TreeMap.key(TreeMap.java:1323)
at java.util.TreeMap.firstKey(TreeMap.java:290)
at org.apache.gora.memory.store.MemStore.execute(MemStore.java:125)
at org.apache.gora.query.impl.QueryBase.execute(QueryBase.java:73) ...
GeneratorJob: generated batch id: 1435279910-1190400607 containing 0 URLs

如果我这样做了同样的错误 - $ bin/nutch readdb -stats 错误 - java.util.NoSuchElementException ... WebTable 的统计数据：

jobs:   {db_stats-job_local970586387_0001={jobName=db_stats, jobID=job_local970586387_0001, counters={Map-Reduce Framework={MAP_OUTPUT_MATERIALIZED_BYTES=6, REDUCE_INPUT_RECORDS=0, SPILLED_RECORDS=0, MAP_INPUT_RECORDS=0, SPLIT_RAW_BYTES=653, MAP_OUTPUT_BYTES=0, REDUCE_SHUFFLE_BYTES=0, REDUCE_INPUT_GROUPS=0, COMBINE_OUTPUT_RECORDS=0, REDUCE_OUTPUT_RECORDS=0, MAP_OUTPUT_RECORDS=0, COMBINE_INPUT_RECORDS=0, COMMITTED_HEAP_BYTES=514850816}, File Input Format Counters ={BYTES_READ=0}, File Output Format Counters ={BYTES_WRITTEN=98}, FileSystemCounters={FILE_BYTES_WRITTEN=1389120, FILE_BYTES_READ=1216494}}}}
TOTAL urls: 0

我也无法使用生成或抓取命令。

谁能告诉我我做错了什么？

谢谢。

【问题讨论】：

您使用的是什么数据存储？ HBase？

标签： web-scraping nutch

【解决方案1】：

我也是 nutch 的新手。但是，我认为问题在于您尚未配置数据存储。我得到了同样的错误，并且更进一步。你需要遵循这个：https://wiki.apache.org/nutch/Nutch2Tutorial，或者这个：https://wiki.apache.org/nutch/Nutch2Cassandra。然后，重建：ant runtime

【讨论】：