如何在 Eclipse 中为 SOLR 配置 Nutch

Question

我正在寻找在 Eclipse 中为 SOLR 配置 Nutch 源代码。

所以这是我遵循的步骤，我能够成功配置它。

问候，

贾耶什·博亚尔

Answer 1

结帐并构建 Nutch：

1.使用终端从SVN获取最新的源代码。

对于 Nutch 1.x (ie.trunk) 运行这个：
svn cohttps://svn.apache.org/repos/asf/nutch/trunk

2.在“conf/nutch-site.xml”中添加具有适当值的“http.agent.name”和“http.robots.agents”。

这里您必须将 nutch-site.xml.template 文件重命名为 nutch-site.xml 并进行相应的更改。

有关这些属性的描述，请参见 conf/nutch-default.xml。

3.另外，添加“plugin.folders”并将其设置为{PATH_TO_NUTCH_CHECKOUT}/build/plugins。例如。如果 Nutch 存在于“/home/Desktop/2.x”，

将属性设置为：

<property>
   <name>plugin.folders</name>
   <value>/home/Desktop/2.x/build/plugins</value>
</property>

目前没有 /build/plugins 文件夹。但是当您运行“ant eclipse”命令时，您将在 {PATH_TO_NUTCH_CHECKOUT} 中获得“/build/plugins”。

这就是为什么它被写成设置绝对路径为{PATH_TO_NUTCH_CHECKOUT}/build/plugins。

这里不要给出相对路径，因为它不会。

4.运行此命令：
蚂蚁日食

5.在Eclipse中加载项目

5.1.在Eclipse中，点击“文件”->“导入...”

5.2.选择“Existing Projects into Workspace”

5.3.在下一个窗口中，将根目录设置为您签出nutch 2.x（或trunk）的位置。点击“完成”。

5.4.您现在将看到一个名为 2.x（或 trunk）的新项目被添加到工作区中。 稍等片刻，直到 Eclipse 刷新其 SVN 缓存并构建其工作区。您可以在 Eclipse 的右下角看到状态。

5.5.在Package Explorer中，右键项目“2.x”（或trunk），选择“Build Path”->“Configure Build Path”

5.6.在“Order and Export”选项卡中，向下滚动并选择“2.x/conf”（或trunk/conf）。点击“顶部”按钮。遗憾的是，Eclipse 将再次构建工作区，但这次不会花费太多时间。

6.需要下载以下jar文件：

http://mvnrepository.com/artifact/org.elasticsearch/elasticsearch/0.90.1

在eclipse中配置上面的jar文件

7.“ElasticsearchException”会出现一个错误。将其更改为“ElasticSearchException”（S 资本）

8.现在你可以在eclipse中运行nutch代码了：

8.1.让我们从注入操作开始。

8.2.在“Package Explorer”中右键项目->选择“Run As”->选择“Run Configurations”。

8.3.创建新配置。将其命名为“注入”。

对于1.x ie trunk : 设置主类为：org.apache.nutch.crawl.Injector

对于2.x：设置主类为：org.apache.nutch.crawl.InjectorJob

8.4。在参数选项卡中，对于程序参数，提供具有种子 url 的输入目录的路径。

8.5。将虚拟机参数设置为“-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log”

8.6。单击“应用”，然后单击“运行”。

8.7。如果一切设置完美，那么您应该会在控制台上看到注入操作正在进行。

Nutch 1.x 中的类（即主干）

注入：- org.apache.nutch.crawl.Injector

生成：- org.apache.nutch.crawl.Generator

fetch :- org.apache.nutch.fetcher.Fetcher

解析：-org.apache.nutch.parse.ParseSegment

更新数据库：-org.apache.nutch.crawl.CrawlDb

Nutch 2.x 中的类

注入：- org.apache.nutch.crawl.InjectorJob

生成：- org.apache.nutch.crawl.GeneratorJob

fetch :- org.apache.nutch.fetcher.FetcherJob

解析：-org.apache.nutch.parse.ParserJob

updatedb :- org.apache.nutch.crawl.DbUpdaterJob

希望这有帮助！！！！