Sqoop + S3 + Parquet 导致 Wrong FS 错误答案

【问题标题】：Sqoop + S3 + Parquet results in Wrong FS errorSqoop + S3 + Parquet 导致 Wrong FS 错误
【发布时间】：2015-10-19 20:14:20
【问题描述】：

尝试使用 Sqoop 以 Parquet 格式将数据导入 S3 时，如下：

bin/sqoop import --connect 'jdbc:[conn_string]' --table [table] --target-dir s3a://bucket-name/ --hive-drop-import-delims --as-parquetfile

...我收到以下错误：

ERROR tool.ImportTool: Imported Failed: Wrong FS: s3a://bucket-name/, expected: hdfs://localhost:9000

导入非镶木地板数据或直接通过 HDFS 使用 s3a 没有问题。看起来像this issue，但据说它在许多版本之前就已修复。

【问题讨论】：

【解决方案1】：

parquet 格式的 Sqoop 导入目前不支持 s3 作为目标目录，您可以使用的解决方法是将数据导入 hdfs，然后使用 distcp 从 hdfs 复制到 s3

【讨论】：

【解决方案2】：

如果您使用 S3 作为目标目录，Sqoop 不支持导入 parquet 文件。

【讨论】：