使用 Parquet-tools.jar 从 Parquet 文件中转储特定列答案

【问题标题】：Specific Column Dump from Parquet File using Parquet-tools.jar使用 Parquet-tools.jar 从 Parquet 文件中转储特定列
【发布时间】：2016-07-20 10:11:39
【问题描述】：

我想使用 parquet-tools-1.8.1.jar 仅转储某些文本文件上的特定列。但无法这样做。我正在尝试以下命令。请注意我的列名有斜杠。

parquet-tools-1.8.1.jar dump --column 'dir1/log1/job12121' '/hdfs-path/to/parquet file with space.parquet' > /home/local/parquet/output.text

【问题讨论】：

标签： hadoop parquet

【解决方案1】：

运行

hadoop jar parquet-tools-1.8.1.jar parquet.tools.Main dump --column 'dir1/log1/job12121' '/hdfs-path/to/parquet file with space.parquet' > /home/local/parquet/output.text

【讨论】：

Radim，我试过你提到的命令它说未知命令：parquet.tools.Main

【解决方案2】：

请使用以下内容：

hadoop jar parquet-tools-1.8.1.jar dump -c dir1 log1 job12121 -m /hdfs-path/to/parquet file with space.parquet >> /home/local/parquet/output.text

注意：输入参数没有单引号。

【讨论】：