试图在 hadoop 集群上运行 spring boot 嵌入式 web 容器答案

【问题标题】：trying to run the spring boot embedded web container on hadoop cluster试图在 hadoop 集群上运行 spring boot 嵌入式 web 容器
【发布时间】：2014-01-14 17:22:41
【问题描述】：

我正在尝试运行需要与 hdfs 对话的 Spring Boot 嵌入式 Web 容器应用程序。我在我的 pom.xml 中包含了 spring data hadoop，但是当我在集群上运行应用程序时，我得到了这个错误

原因：java.io.FileNotFoundException: JAR entry lib/hadoop-core-1.2.1.jar!/core-default.xml not found in hdfspub-0.0.1-SNAPSHOT.jar 在 .jar.JarURLConnec...ction.java:122) 在 JarURLConnec...ction.java:132) 在 com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:65 1) 在 com.sun.org.apache.xerces.internal.impl.XMLVersion Detector.determineDocVersion(XMLVersionDetector.ja va:186) 在 com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:772) 在 com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737) 在 com.sun.org.apache.xerces.internal.parsers.XMLPars er.parse(XMLParser.java:119) 在 com.sun.org.apache.xerces.internal.parsers.DOMPars er.parse(DOMParser.java:232) 在 com.sun.org.apache.xerces.internal.jaxp.DocumentBu ilderImpl.parse(DocumentBuilderImpl.java:284) 在 javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:180) 在 org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1156)

即使我看一下我的 jar，我也可以看到 hadoop-core-1.2.1.jar 在那里

$ unzip -l hdfspub-0.0.1-SNAPSHOT.jar | grep hadoop-core-1.2.1.jar 4203713 10-25-2013 21:04 lib/hadoop-core-1.2.1.jar

任何帮助将不胜感激

【问题讨论】：

似乎 spring boot loader 没有在 hadoop-core-1.2.1.jar jar 文件中获取配置文件
我真的坚持这一点。如果我能得到任何帮助，我将不胜感激。
您能在github 上打开一个问题吗？
@adeelmahmood 嗨！，我也有同样的问题：/，你有什么解决方案吗？

标签： spring hadoop spring-boot

【解决方案1】：

我有同样的问题，解决方案是将 hadoop.core 添加到您的 pom/build.gradle 但您必须从 spring.data.hadoop 和 apache.hadoop 组中排除：

tomcat
org.mortbay.jetty
javax.servlet

我的 build.gradle：

   compile('org.apache.hadoop:hadoop-core:1.2.1'){
       exclude group: 'org.mortbay.jetty'
       exclude group: 'javax.servlet'
       exclude group: 'tomcat'       
   }
   compile('org.springframework.data:spring-data-hadoop:1.0.2.RELEASE') {
       exclude group: 'org.mortbay.jetty'
       exclude group: 'javax.servlet'
       exclude group: 'tomcat'
   }

【讨论】：