我可以过滤镶木地板吗？

Question

我刚开始查看 parquet 文件，因为我的一些数据可以采用这种格式。而且我以前没有真正玩过它，所以这是我的问题。

我这样打开我的镶木地板文件：

import pyarrow.parquet as pq

table1 = pq.read_table('mydatafile.parquet')

这个文件由 10 列组成。现在是否可以直接从这里过滤掉所有行，例如column3 的值为 1？

我的意思是，我可以这样做：

df = table1.to_pandas()
df = df[df["column3"] != 1] 

但是这可以在本地完成，而无需先转换为 Pandas 数据框吗？

Answer 1

您可以在documentation 中使用此语法

import pyarrow.parquet as pq

table1 = pq.read_table('mydatafile.parquet', filters = [('column3',  '!=' , 1)])

来源：

Using predicates to filter rows from pyarrow.parquet.ParquetDataset