Apache Ignite：IgniteHadoopIgfsSecondaryFileSystem 的依赖关系是什么？答案

【问题标题】：Apache Ignite: What are the dependencies of IgniteHadoopIgfsSecondaryFileSystem?Apache Ignite：IgniteHadoopIgfsSecondaryFileSystem 的依赖关系是什么？
【发布时间】：2016-03-17 05:41:58
【问题描述】：

我正在尝试使用 Hadoop 作为辅助存储来设置 IGFS。我已经按照here 所示设置了我的配置，但我不断收到NoClassDefFoundErrors。我已经下载了 Ignite 的两个二进制发行版，并尝试从源代码构建，但不包括依赖项。 hadoop-common-2.6.0.jar 和 ignite-hadoop-1.4.0.jar 提供了一些依赖项，但现在我得到了 NoClassDefFoundError 的 org/apache/hadoop/mapred/JobConf，据我了解，这是一个已弃用的类...

我一直按照 Apache Ignite 网站上的说明进行操作，但目前为止。

IgniteHadoopIgfsSecondaryFileSystem 作为二级存储需要哪些依赖项？

【问题讨论】：

我的 Ignite 版本是 1.4.0，我的 Hadoop 版本是 2.6

标签： hadoop ignite

【解决方案1】：

看起来问题在于 Ignite 节点的类路径上没有 Hadoop 库。要解决此问题，请尝试执行以下操作：

1) 使用 Ignite 发行版的“Hadoop Accelerator”版本（如果您自己构建发行版，请使用 -Dignite.edition=hadoop）。

2) 如果您使用 Apache Hadoop 发行版，或者如果您使用其他发行版（HDP、Cloudera、BigTop 等），请为 Ignite 进程设置 HADOOP_HOME 环境变量，确保 /etc/default/hadoop 文件存在并且有适当的内容。

或者，您可以手动将必要的 Hadoop 依赖项添加到 Ignite 节点类路径：这些是文件 modules/hadoop/pom.xml 中列出的 groupId "org.apache.hadoop" 的依赖项。目前他们是：

hadoop 注释
hadoop 身份验证
hadoop-common
hadoop-hdfs
hadoop-mapreduce-client-common
hadoop-mapreduce-client-core

【讨论】：

【解决方案2】：

如果您不想自己处理依赖项管理（手动操作确实很难），我建议您查看为软件堆栈提供编排和部署服务的项目。检查 Apache Bigtop (bigtop.apache.org)，它为 Apache Ignite、Hadoop、HDFS 和该领域的几乎所有其他东西提供了预切的 linux 包。您可以通过http://ci.bigtop.apache.org/view/Packages/job/Bigtop-trunk-packages从我们的 CI 获取最新的夜间包

【讨论】：