【问题标题】:wordCount job failed spring batch [duplicate]wordCount 作业春季批处理失败[重复]
【发布时间】:2014-01-22 12:08:49
【问题描述】:

我是学习 Hadoop 和 Spring 集成的初学者。我正在尝试使用 Cloudera ( cdh4.5.0 ) 版本和使用 Maven 的 Spring Batch 2.2.4 版本运行 wordcount 程序。

程序编译成功,map和reduce函数完成。 wordcount 作业仍然给出 Job failed 状态和以下错误:

ERROR [org.springframework.batch.core.step.AbstractStep] - <Encountered an error executing the step>
java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected

我已经看到了依赖关系树,但在我的存储库中找不到任何冲突的 hadoop 先前版本。如果您需要更多信息,请告诉我。

欢迎任何帮助或建议:)

谢谢

【问题讨论】:

  • 我只遇到这个问题吗? spring batch 兼容 cdh4.5 吗?
  • @bellabax:我同意这个问题非常相似,但没有适合我的问题的答案。请对此进行调查。
  • 我什至把cloudera版本改成了4.3.1,但还是没有改错。
  • 只是因为其他问题没有正确答案,所以没有理由要求重复。要么澄清(通过编辑问题)你的情况到底有什么不同,要么接受这个问题将作为重复关闭。
  • 我以后会处理的。谢谢。

标签: maven hadoop spring-data spring-batch cloudera


【解决方案1】:

我假设您也在使用 spring-data-hadoop。

尝试将 1.0.2.RELEASE-cdh4 版本与 Cloudera CDH4 一起使用 - 这些发行版特定版本可在 Spring 存储库中找到:

<repository>
  <id>spring-releases</id>
  <name>Spring Release Repository</name>
  <url>http://repo.spring.io/libs-release</url>
</repository>

更多信息在这里:https://github.com/spring-projects/spring-hadoop/wiki/Build-with-Cloudera-CDH4

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-06-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-10-19
    • 1970-01-01
    • 2021-12-17
    • 2020-04-23
    相关资源
    最近更新 更多