如何在 Windows 中查看 Apache Parquet 文件？

Question

我找不到任何关于 Apache Parquet 文件的简单英文解释。如：

1. 它们是什么？
2. 我需要 Hadoop 或 HDFS 来查看/创建/存储它们吗？
3. 如何创建镶木地板文件？
4. 如何查看镶木地板文件？

感谢您对这些问题的任何帮助。

Answer 1

什么是 Apache Parquet？

Apache Parquet 是一种以列方式存储数据的二进制文件格式。 Parquet 文件中的数据类似于具有列和行的 RDBMS 样式表。但是，您通常一次访问一列，而不是一次访问一行数据。

Apache Parquet 是现代大数据存储格式之一。它有几个优点，其中一些是：

• 列式存储：高效的数据检索、高效的压缩等...
• 元数据位于文件末尾：允许从数据流生成 Parquet 文件。 （常见于大数据场景）
• 所有 Apache 大数据产品都支持

我需要 Hadoop 还是 HDFS？

没有。 Parquet 文件可以存储在任何文件系统中，而不仅仅是 HDFS。如上所述，它是一种文件格式。因此，它就像任何其他具有名称和 .parquet 扩展名的文件一样。但是，在大数据环境中通常会发生的情况是，一个数据集将被拆分（或分区）为多个 parquet 文件以提高效率。

所有 Apache 大数据产品默认支持 Parquet 文件。这就是为什么它看起来只能存在于 Apache 生态系统中的原因。

如何创建/读取 Parquet 文件？

如前所述，当前所有 Apache 大数据产品，如 Hadoop、Hive、Spark 等，默认支持 Parquet 文件。

因此可以利用这些系统来生成或读取 Parquet 数据。但这远非实际。想象一下，为了读取或创建 CSV 文件，您必须安装 Hadoop/HDFS + Hive 并配置它们。幸运的是还有其他解决方案。

创建您自己的镶木地板文件：

• 在 Java 中，请参阅我的以下帖子：Generate Parquet File using Java
• 在 .NET 中请查看以下库：parquet-dotnet

查看 parquet 文件内容：

• 请尝试以下 Windows 实用程序：https://github.com/mukunku/ParquetViewer

还有其他方法吗？

可能。但是存在的并不多，而且它们大多没有很好的记录。这是因为 Parquet 是一种非常复杂的文件格式（我什至找不到正式的定义）。我列出的那些是我在写这篇回复时唯一知道的那些

Answer 2

现在可以通过Apache Arrow 实现这一点，这有助于简化不同数据格式之间的通信/传输，请参阅我的答案here 或official docs（如果是Python）。

基本上，这让您可以像使用 DataFrame 一样的方式快速读取/写入 pandas 的 parquet 文件，让您享受使用 notebooks 来查看和处理此类文件的好处，就像普通的 csv 文件一样。

编辑：

例如，给定最新版本的Pandas，请确保已安装pyarrow：

然后你可以简单地使用 pandas 来操作 parquet 文件：

import pandas as pd

# read
df = pd.read_parquet('myfile.parquet')

# write
df.to_parquet('my_newfile.parquet')

df.head()

Answer 3

除了@sal 的广泛回答之外，我在这种情况下还遇到了另一个问题：

如何使用 SQL 访问 parquet 文件中的数据？

由于我们仍处于 Windows 环境中，因此我知道的方法并不多。使用Spark 作为SQL 引擎，使用Python 作为Spark 的接口，可以获得最好的结果。不过，我认为Zeppelin 环境也可以正常工作，但我自己还没有尝试过。

There is very well done guide by Michael Garlanyk指导大家安装Spark/Python组合。

设置完成后，我可以通过以下方式与镶木地板互动：

from os import walk
from pyspark.sql import SQLContext

sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)

parquetdir = r'C:\PATH\TO\YOUR\PARQUET\FILES'

# Getting all parquet files in a dir as spark contexts.
# There might be more easy ways to access single parquets, but I had nested dirs
dirpath, dirnames, filenames = next(walk(parquetdir), (None, [], []))

# for each parquet file, i.e. table in our database, spark creates a tempview with
# the respective table name equal the parquet filename
print('New tables available: \n')

for parquet in filenames:
    print(parquet[:-8])
    spark.read.parquet(parquetdir+'\\'+parquet).createOrReplaceTempView(parquet[:-8])

一旦以这种方式加载您的镶木地板，您就可以与 Pyspark API 进行交互，例如通过：

my_test_query = spark.sql("""
select
  field1,
  field2
from parquetfilename1
where
  field1 = 'something'
""")

my_test_query.show()

Answer 4

这个帖子可能为时已晚，只需为任何想要使用在 MAC 或 Linux 上运行的桌面应用程序查看 Parquet 文件的人做一些补充。
有一个桌面应用程序可以查看Parquet 以及其他二进制格式数据，例如ORC 和AVRO。它是纯 Java 应用程序，因此可以在 Linux、Mac 和 Windows 上运行。详情请查看Bigdata File Viewer。

支持数组、地图等复杂数据类型

Answer 5

这是一个快速“hack”，用于在 Windows 中使用 Python 显示 单表 parquet 文件（我使用 Anaconda Python）：

• 安装pyarrow包https://pypi.org/project/pyarrow/

• 安装pandasgui包https://pypi.org/project/pandasgui/

• 创建这个简单的脚本parquet_viewer.py:

  import pandas as pd
  from pandasgui import show
  import sys
  import os
  
  dfs = {}
  for fn in sys.argv[1:]:
      dfs[os.path.basename(fn)] = pd.read_parquet(fn)
  show(**dfs)
  

• 通过以管理员身份运行这些命令来关联 .parquet 文件扩展名（当然，您需要调整 Python 安装的路径）：

  assoc .parquet=parquetfile
  ftype parquetfile="c:\Python3\python.exe" "\<path to>\parquet_viewer.py" "%1"
  

这将允许打开以@Sal 的答案中的 .NET 查看器不支持的压缩格式（例如 Zstd）压缩的镶木地板文件。

Answer 6

在 Mac 上，如果我们想查看内容，我们可以安装“parquet-tools”

• brew install parquet-tools
• parquet-tools 头文件名

我们总是可以将 parquet 文件读取到 Spark 中的数据框并查看内容。

它们是列格式，更适合分析环境，一次写入，多次读取。 Parquet 文件更适合读取密集型应用程序。

Answer 7

此链接允许您查看小型镶木地板文件： http://parquet-viewer-online.com/

它最初是由 Rodrigo Lozano 提交的。本站基于这里的github项目：https://github.com/elastacloud/parquet-dotnet