Spark 上 Amplab 鲨鱼的蜂巢内部错误答案

【问题标题】：hive internal error with Amplab shark on sparkSpark 上 Amplab 鲨鱼的蜂巢内部错误
【发布时间】：2014-08-06 11:07:38
【问题描述】：

请...需要帮助。

我已按照步骤构建 spark 和 Shark 以从 hdfs/cassandra 查询数据。我在 hdfs 上有一个 cassandra 集群，可以成功查看数据库。但是不能运行select语句

shark> select * from calls_flow limit 1; 失败：Hive 内部错误：java.lang.RuntimeException(java.lang.ClassNotFoundException: org.apache.hadoop.hive.cassandra.input.cql.HiveCqlInputFormat)

我们将不胜感激。

谢谢

环境：cassandra 2.0.8、spark-0.9.0、shark-0.9.0

【问题讨论】：

关于 ClassNotFoundException 有很多关于 SO 的问题。

标签： cassandra apache-spark shark-sql

【解决方案1】：

请确保将 cassandra jar 和 cassandra-hive 驱动程序/InputFormat jar 复制到所有集群计算机上的 Shark lib 目录中。

【讨论】：