Hadoop - Elasticsearch - Spark 版本兼容性答案

【问题标题】：Hadoop - Elasticsearch - Spark version compatibilityHadoop - Elasticsearch - Spark 版本兼容性
【发布时间】：2019-01-28 09:55:12
【问题描述】：

之前，我在 5.3.0 版本中使用了 Kibana/Elasticsearch。在我的 java 项目中，依赖项是：

整体功能齐全。

我想在 6.3.1 版本中更新 Kibana / ES。哪些版本的 Hadoop/spark 兼容？我找不到兼容性矩阵...

谢谢。

【问题讨论】：

【解决方案1】：

elasticsearch-hadoop 二进制文件适用于 Hadoop 2.x（也称为 YARN）环境。对 Hadoop 1.x 环境的支持在 5.5 中已弃用，并且将不再在 6.0 中进行测试。

Spark 是针对 Hadoop 2.6+ 构建的，因此您应该将 Hadoop 升级为这里的最小公分母。您绝对应该使用 Spark 2.x 以及许多原因，例如错误修复和 AFAIK，RDD API 处于“维护模式”，建议使用 DataFrame

HBase 文档有自己的兼容性图表，但与 Elasticsearch 无关。最新稳定的 Hbase 是 1.4.3

1.2.1 看起来像一个 Hive 版本号，但该版本运行良好，但同样不是最新的稳定 1.x 版本

【讨论】：

谢谢。我正在使用：hadoop 2.5.1 进行测试；火花核心 2.3.0 ;弹性搜索-hadoop 6.3.1； scala 库 2.11.8。我得到：“java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;”
你确定你使用的是 Scala 2.11 吗？我在 2.12 中看到过类似的错误
如果您在其他地方搜索该错误，它会提到您有使用 Scala 2.10 的类...在 Spark 下载页面中，从 2.0 版开始，Spark 默认使用 Scala 2.11 构建。 Scala 2.10 用户应下载 Spark 源代码包并使用 Scala 2.10 支持进行构建。
是的，所有依赖项都使用 scala 2.11。我没有任何 scala 2.10 依赖项。