Flume 推特流答案

【问题标题】：Flume twitter streamFlume 推特流
【发布时间】：2019-04-04 10:03:14
【问题描述】：

我正在尝试执行水槽以从 twitter 流中获取数据，但在执行水槽时收到此错误。

[错误 - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:253)] 无法启动 EventDrivenSourceRunner：{ source:com.cloudera.flume.source.TwitterSource{name:Twitter,state :IDLE} } - 异常如下。 java.lang.NoSuchMethodError: twitter4j.TwitterStream.addListener(Ltwitter4j/StreamListener;)V 在 com.cloudera.flume.source.TwitterSource.start(TwitterSource.java:140) 在 org.apache.flume.source.EventDrivenSourceRunner.start(EventDrivenSourceRunner.java:44) 在 org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251) 在 java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) 在 java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178) 在 java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 在 java.lang.Thread.run(Thread.java:745)

我是使用 Cloudera 快速入门水槽和工作的初学者。在搜索解决方案时，据说要安装 maven，然后从那里构建 flume-snapshot jar 文件，但我不知道如何在 Cloudera 快速入门中安装 maven。有关如何纠正此错误的任何帮助，请我在这里停留了 1 周。

【问题讨论】：

标签： java hadoop twitter4j flume flume-twitter

【解决方案1】：

找到解决方案： twitter4j 文件和水槽快照 jar 引发了冲突。所以我通过使用 jarx 更改文件扩展名来重命名 twitter4j jar。我通过阅读此article 所做的另一件事是将水槽快照放在以下层次结构中。 /usr/lib/flume-ng/lib/plugins.d/flumesnapshot 并在 var 目录中遵循相同的模式。

【讨论】：