【发布时间】:2014-11-01 18:49:18
【问题描述】:
我已经安装了完全分布式的 Hadoop 1.2.1。我试图通过以下步骤集成 nutch:
- 下载 apache-nutch-1.9-src.zip
- 将值 http.agent.name 添加到 nutch-site.xml 中
- 复制
hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves进入 $NUTCH_HOME/conf - 使用
ant runtime编译 - 创建
urls/seed.txt并安装hadoop dfs - 编辑 $NUTCH_HOME/conf/regex-urlfilter.txt
使用命令测试爬取:
bin/hadoop -jar nutch-1.9.job org.apache.nutch.crawl.Crawl urls -dir urls -depth 1 -topN 5
并得到这个错误:
线程“主”java.lang.ClassNotFoundException 中的异常:org.apache.nutch.crawl.Crawl 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(本机方法) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0(本机方法) 在 java.lang.Class.forName(Class.java:270) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:153)
我尝试提取 nutch-1.9.job,但在 org/apache/nutch/crawl 中没有找到类 Crawl。
我需要配置一些东西吗?
【问题讨论】: