运行 Kafka hadoop-consumer 时出现 ClassNotFoundException答案

【问题标题】：ClassNotFoundException while running Kafka hadoop-consumer运行 Kafka hadoop-consumer 时出现 ClassNotFoundException
【发布时间】：2015-10-27 23:08:15
【问题描述】：

我是 Kafka 新手，我正在 hortonworks sanbox 2.3 上进行测试。我正在关注kafka教程 https://github.com/kafka-dev/kafka/tree/master/contrib/hadoop-consumer.

运行时 ./run-class.sh kafka.etl.impl.DataGenerator 测试/test.properties，我得到错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2615)
        at java.lang.Class.getMethod0(Class.java:2856)
        at java.lang.Class.getMethod(Class.java:1668)
        at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
        at  sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 6 more

我已经在 run-class.sh 中包含了所有可能的 kafka jar，但仍然没有运气。请帮忙！

【问题讨论】：

标签： hadoop-streaming kafka-consumer-api

【解决方案1】：

您缺少 org.apache.hadoop.conf.Configuration 类的 jar，它不是 Kafka 库的一部分。它应该包含在 hadoop-common-2.5.0 中。您必须将此 jar 添加到类路径中。

【讨论】：