对 HDFS 数据进行 Hive 查询的异常

Question

我在执行 HIVE 查询时遇到异常。 我正在关注这个链接：http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html

Hive 版本：0.13.1 Hadoop版本：1.2.1 水槽：1.5.2

终端数据在这里：

hive> 从推文中选择 id； 工作总数 = 1 启动作业 1 / 1 由于没有 reduce 操作符，reduce 任务的数量设置为 0 开始工作 = job_201502231939_0005，跟踪 URL = http://localhost:50030/jobdetails.jsp?jobid=job_201502231939_0005 杀死命令 = /prj/hadoop/libexec/../bin/hadoop 作业 -kill 工作_201502231939_0005 Stage-1 的 Hadoop 作业信息：映射器数量：1；减速机数量：0 2015-02-23 20:00:05,683 第一阶段地图 = 0%，减少 = 0% 2015-02-23 20:00:27,016 第一阶段地图 = 100%，减少 = 100% 已结束作业 = job_201502231939_0005 错误 作业期间出错，正在获取调试信息... 工作跟踪 URL：http://localhost:50030/jobdetails.jsp? jobid=job_201502231939_0005 检查任务 ID：task_201502231939_0005_m_000002（及更多）来自作业 job_201502231939_0005 失败次数最多的任务（4）： ----- 任务编号： 任务_201502231939_0005_m_000000 网址： http://localhost:50030/taskdetails.jsp? jobid=job_201502231939_0005&tipid=task_201502231939_0005_m_000000 ----- 此任务的诊断消息： java.lang.RuntimeException：配置对象时出错 在 org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93) 在 org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64) 在 org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) 在 org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:426) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:366) 在 org.apache.hadoop.mapred.Child$4.run(Child.java:255) 在 java.security.AccessController.doPrivileged（本机方法） 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.mapred.Child.main(Child.java:249) 引起：java.lang.reflect.InvocationTargetException 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:88) ... 9 更多 原因：java.lang.RuntimeException：配置对象时出错 在 org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93) 在 org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64) 在 org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) 在 org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:34) ... 14 更多 引起：java.lang.reflect.InvocationTargetException 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:88) ... 17 更多 引起：java.lang.RuntimeException：映射运算符初始化失败 在 org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:154) ... 22 更多 引起：org.apache.hadoop.hive.ql.metadata.HiveException：java.lang.ClassNotFoundException：com.cloudera.hive.serde.JSONSerDe 在 org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:335) 在 org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:353) 在 org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:123) ... 22 更多 引起：java.lang.ClassNotFoundException：com.cloudera.hive.serde.JSONSerDe 在 java.net.URLClassLoader$1.run(URLClassLoader.java:366) 在 java.net.URLClassLoader$1.run(URLClassLoader.java:355) 在 java.security.AccessController.doPrivileged（本机方法） 在 java.net.URLClassLoader.findClass(URLClassLoader.java:354) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:425) 在 sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 在 java.lang.ClassLoader.loadClass(ClassLoader.java:358) 在 java.lang.Class.forName0（本机方法） 在 java.lang.Class.forName(Class.java:274) 在 org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:810) 在 org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:305) ... 24 更多 失败：执行错误，从 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 返回代码 2 MapReduce 职位发布： 作业 0：映射：1 HDFS 读取：0 HDFS 写入：0 FAIL 花费的总 MapReduce CPU 时间：0 毫秒

Answer 1

将 flume-sources-1.0-SNAPSHOT.jar 复制到 /usr/lib/flume-ng/plugins.d/twitter-streaming/lib/flume-sources-1.0-SNAPSHOT.jar 和 /var/lib/ flume-ng/plugins.d/twitter-streaming/lib/flume-sources-1.0-SNAPSHOT.jar 或它们各自的路径（如果未使用默认值）。

还可以使用以下命令在 hive shell 中添加 jar：

ADD JAR /local/path/to/the/jar