Sqoop：--as-parquetfile 不工作答案

【问题标题】：Sqoop: --as-parquetfile is not workingSqoop：--as-parquetfile 不工作
【发布时间】：2019-02-03 11:33:28
【问题描述】：

我想将 sqoop 文件作为 parquet 文件直接保存到 hdfs。我正在尝试按照命令执行此操作。但面对ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException

sqoop 版本 - 1.4.7

sqoop 导入 --options-file /home/user/optionsfile.txt --query "select * 从表中 \$CONDITIONS" --target-dir 'hdfs:///user/x/sqoop1' --as-parquetfile -m 1;

当我在没有--as-parquetfile 的情况下尝试相同的 sqoop 命令时，作业正在成功执行

【问题讨论】：

【解决方案1】：

由于这是 sqoop 中的一个开放错误，我希望您建议先将数据以文本格式导入到临时配置单元表中，然后插入到另一个镶木地板格式的配置单元表中。

【讨论】：

如果我不使用 hive，需要以 parquet 格式从 postgres 获取表到 hdfs。查询在没有 (--as-parquetfie) 的情况下运行良好，这会使用 parquet 选项给出无法识别的参数错误。请帮忙。
看看没关系，您将无法使用 --as-parquetfile 工具获取数据，因为它不起作用。据我了解您的用例，以支持的文件格式（ORC 或 CSV 或 AVRO）将文件拉到 HDFS，然后使用 HIVE 或 PIG 或 SPARK 读取，然后将其转换为镶木地板格式。这是我根据您提供的信息看到的唯一选择。另外，我认为这个错误应该在未来的版本中得到解决，尝试使用更新版本的 SQOOP 或者使用 Spark 代码，现在没有人使用 SQOOP，它太旧并且在 MAP-REDUCE 上运行。如果可能，请使用 Spark。

【解决方案2】：

您可以尝试使用--table 代替--query 并检查。

此问题存在一个未解决的错误 SQOOP-2571。

【讨论】：

我需要使用查询来克服来自源的不需要的数据。查询的任何解决方法？
@Kaleby Jaun 有 recommended 相同的workaround，尽管有一个稍微不同的错误（仍然是与--as-parquetfile 选项相关）