Sqoop 导入 Parquet java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat 错误答案

【问题标题】：Sqoop import Parquet java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat errorSqoop 导入 Parquet java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat 错误
【发布时间】：2014-11-02 18:46:48
【问题描述】：

我已经从git hub 克隆了 sqoop 项目并在 windows 7 中使用 build.xml 使用 ant 创建 sqoop-1.4.6-SNAPSHOT.jar 并将其部署在 cdh5 环境中的/usr/lib/sqoop 但是当我运行时sqoop import 命令我在堆栈跟踪中收到以下错误：

Exception in thread "main" java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat
    at org.apache.sqoop.mapreduce.DataDrivenImportJob.getOutputFormatClass(DataDrivenImportJob.java:179)

我做错了吗？使用 windows 构建项目是错误的，我需要添加额外的 jars 吗？

我已在 sqoop/lib 中部署了所有 kite sdk jar。
将 kite sdk 添加到 hadoop_classpath。

【问题讨论】：

您能描述一下您的 Windows 环境的详细信息吗？在Cgywin？请在异常之前发布日志消息。

标签： import sqoop parquet

【解决方案1】：

Sqoop 在克隆时管理其依赖项与打包时略有不同。我强烈推荐使用BigTop 或Sqoop 的distributions 之一。

在与您正在部署的操作系统不同的操作系统上构建应该无关紧要。

在您的情况下，看起来风筝根本没有被添加到您的类路径中。由于您已经手动构建了 Sqoop，因此您可以将 jars 添加到：

SQOOP_HOME/lib

或

SQOOP_HOME/构建

接下来，检查您的权限。确保运行 sqoop 命令的用户可以访问上述目录。该用户应具有执行权限。此外，罐子应该是用户可读的。

如果一切都失败了，请通过user mailing list 联系 Sqoop 社区。p>

【讨论】：