【发布时间】：2017-11-08 01:54:56
【问题描述】：
我有一些HDFS parquet 格式的文件。我想将这些文件合并为一个大文件。
我该怎么做？
我已经做了一些类似下面的事情，但对于文本文件。
hadoop fs -cat /input_hdfs_dir/* | hadoop fs -put - /output_hdfs_file
但无法达到parquet格式想要的结果。
我怎样才能达到我的要求？
【问题讨论】：
【发布时间】：2017-11-08 01:54:56
【问题描述】：
无法将parquet 文件与 hdfs 命令合并。
有一个parquet-tools library可以帮你实现merging的parquet文件。命令应该是
java jar ./parquet-tools-<VERSION>.jar <command> <input-directory> <output-file>
【讨论】：
-
我认为
parquet-tools这些天已经预装了 Cloudera。
同样的工具可用于合并 Hadoop 中的多个文件，只需在 ./parquet-tools 之前使用 $hadoop jar 而不是 $java -jar
【讨论】：