【问题标题】:org.apache.nutch.crawl.Crawl missing in nutch 1.9 on hadoop 1.2.1org.apache.nutch.crawl.Crawl 在 hadoop 1.2.1 上的 nutch 1.9 中丢失
【发布时间】:2014-11-01 18:49:18
【问题描述】:

我已经安装了完全分布式的 Hadoop 1.2.1。我试图通过以下步骤集成 nutch:

  1. 下载 apache-nutch-1.9-src.zip
  2. 将值 http.agent.name 添加到 nutch-site.xml 中
  3. 复制hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlmasters, slaves 进入 $NUTCH_HOME/conf
  4. 使用ant runtime编译
  5. 创建urls/seed.txt并安装hadoop dfs
  6. 编辑 $NUTCH_HOME/conf/regex-urlfilter.txt

使用命令测试爬取:

bin/hadoop -jar nutch-1.9.job org.apache.nutch.crawl.Crawl urls -dir urls -depth 1 -topN 5

并得到这个错误:

线程“主”java.lang.ClassNotFoundException 中的异常:org.apache.nutch.crawl.Crawl 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged(本机方法) 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0(本机方法) 在 java.lang.Class.forName(Class.java:270) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:153)

我尝试提取 nutch-1.9.job,但在 org/apache/nutch/crawl 中没有找到类 Crawl。

我需要配置一些东西吗?

【问题讨论】:

    标签: hadoop nutch


    【解决方案1】:

    在 1.8 版本中删除了 Crawl.java。您可以使用爬虫 shell 脚本进行所有爬网。

    已弃用的类 o.a.n.crawl.Crawler 仍在代码库中 https://issues.apache.org/jira/browse/NUTCH-1621

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-01-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多