由于 JAR 冲突而无法运行 Flume答案

【问题标题】：Cannot run Flume because of JAR conflict由于 JAR 冲突而无法运行 Flume
【发布时间】：2013-10-04 20:13:41
【问题描述】：

我已经手动安装了 Flume 和 Hadoop（我的意思是，不是 CDH），我正在尝试从 Cloudera 运行 twitter example。

在apache-flume-1.5.0-SNAPSHOT-bin目录下，我用以下命令启动代理：

bin/flume-ng agent -c conf -f conf/twitter.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

我的conf/twitter.conf 文件使用记录器作为接收器。 conf/flume-env.sh 将包含 Twitter 源定义的 flume-sources-1.0-SNAPSHOT.jar 分配给 CLASSPATH。结果输出是：

(...) [ERROR org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)] Unable to start EventDrivenSourceRunner: { source:com.cloudera.flume.source.TwitterSource{name:Twitter,state:IDLE} } - Exception follows. java.lang.NoSuchMethodError:
twitter4j.FilterQuery.setIncludeEntities(Z)Ltwitter4j/FilterQuery;
at com.cloudera.flume.source.TwitterSource.start(TwitterSource.java:139)

冲突是由在 Flume 库中其他地方定义的 FilterQuery 类引起的，该类不包含 setIncludeEntities 方法。对我来说，包含此类的文件是 twitter4j-stream-3.0.3.jar，我无法按照建议的 here 从类路径中排除该文件。

【问题讨论】：

标签： java hadoop twitter4j flume

【解决方案1】：

我相信这种经历让你很沮丧，对我来说这是肯定的。主要问题是，flume-sources-1.0-SNAPSHOT.jar 和 twitter4j-stream-3.0.3.jar 这两个文件都包含相同的 FilterQuery.class。这就是在日志文件中生成冲突消息的原因。

我不是 Java 或大数据专家，但我可以为您提供解决此问题的替代方案。从here 下载 Twitter4j-stream-2.6.6.jar 或更低版本并替换 twitter4j-stream-3.0.3.jar。所有 3.X.X 都使用这个类。更换后，一切正常。但是在下载大量推文后，您可能会遇到一些堆错误。请搜索解决方案，因为它已在 3.X.X 文件中解决。

-编辑另外，请不要忘记下载和替换 /usr/lib/flume-ng 文件夹中的所有 twitter4j 文件。即twitter4j-media-support-2.2.6.jar、twitter4j-stream-2.2.6.jar和twitter4j-core-2.2.6.jar。这些文件中与版本相关的任何不匹配也会产生问题。

【讨论】：

【解决方案2】：

正如in the post 建议的那样，有问题的文件也可以是 search-contrib-1.0.0-jar-with-dependencies.jar。

【讨论】：

【解决方案3】：

需要从git:https://github.com/cloudera/cdh-twitter-example重新编译flume-sources-1.0-SNAPSHOT.jar

安装 Maven，然后下载 cdh-twitter-example 的仓库。

解压，然后在里面执行（如上所述）：

$ cd 水槽源

$ mvn 包

$ cd ..

twitter4j 版本从 2.2.6 更新到 3.X 时出现此问题，他们删除了方法 setIncludeEntities，并且 JAR 不是最新的。

PS：不要下载预建版本，还是老版本。

【讨论】：

@kulssaka 你能帮助我如何安装 maven 吗？我正在使用 cloudera 快速入门
@subhasankar 如何安装 maven？
@subhasankar 你可以从这里下载和安装：maven.apache.org/install.html

【解决方案4】：

只需重命名所有 twitter4j-stream* jar 文件并重新运行您的水槽。它将具有魅力。 :)

【讨论】：

【解决方案5】：

我遇到了同样的问题，最后我按照以下步骤解决了：

首先我重命名了 jarx 中的所有 jar 文件：从 twitter4j-stream-3.0.3.jar -> twitter4j-stream-3.0.3.jarx，...

这解决了错误，但是当它尝试建立连接时，我得到了错误 404：

(Twitter Stream consumer-1[Establishing connection]) 
[INFO - Twitter4j.internal.logging.SLF4JLogger.info(SLF4JLogger.java:83)] 404:
The URI requested is invalid or the resource requested, such as a user, does not exist.)

阅读此页面 (https://twittercommunity.com/t/twitter-streaming-api-not-working-with-twitter4j-and-apache-flume/66612/11) 后，我终于解决了下载新版本 twitter4j 的问题（页面中有链接）。可能不是最好的解决方案，但对我有用。

【讨论】：