【问题标题】:how to solve segment: crawl/segments/* error如何解决segment: crawl/segments/* 错误
【发布时间】:2013-10-11 12:19:21
【问题描述】:

点击此链接时,我收到此错误,但无法弄清楚 http://wiki.apache.org/nutch/NutchTutorial

runtime/local$ bin/nutch 解析 $s1 ParseSegment:开始于 2013-10-11 17:43:36 ParseSegment: 段: crawl/segments/20131011173126 线程“主”java.io.IOException 中的异常:段已解析! 在 org.apache.nutch.parse.ParseOutputFormat.checkOutputSpecs(ParseOutputFormat.java:89) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:975) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936) 在 java.security.AccessController.doPrivileged(本机方法) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936) 在 org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:910) 在 org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1353) 在 org.apache.nutch.parse.ParseSegment.parse(ParseSegment.java:213) 在 org.apache.nutch.parse.ParseSegment.run(ParseSegment.java:247) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.nutch.parse.ParseSegment.main(ParseSegment.java:220)

【问题讨论】:

    标签: nutch


    【解决方案1】:

    当您要解析已解析的段时,会发生这种情况。请注意,如果您使用“crawl”命令,它也会解析段。

    如果您真的想再次解析,只需删除您的段内的 crawl_parse 目录(即 crawl/segments/20131011173126/crawl_parse)并再次发出 parse 命令。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-12-29
      • 2018-06-30
      • 2012-02-18
      • 2011-08-30
      • 2014-06-13
      • 2011-07-06
      • 2018-09-17
      相关资源
      最近更新 更多