注意:我已在this post 中将其扩展为 Python 和 Parquet 的综合指南
Parquet 格式分区
为了使用过滤器,您需要使用分区以 Parquet 格式存储数据。加载一些 Parquet 列和分区中的一些可以导致 Parquet 与 CSV 相比 I/O 性能的巨大改进。 Parquet 可以根据一个或多个字段的值对文件进行分区,并为嵌套值的唯一组合创建目录树,或者为一个分区列创建一组目录。 PySpark Parquet documentation 解释了 Parquet 的工作原理。
关于性别和国家的分区看起来像this:
path
└── to
└── table
├── gender=male
│ ├── ...
│ │
│ ├── country=US
│ │ └── data.parquet
│ ├── country=CN
│ │ └── data.parquet
│ └── ...
如果您需要进一步对数据进行分区,还有行组分区,但大多数工具仅支持指定行组大小,您必须自己进行 key-->row group 查找,这很难看(很高兴在另一个问题)。
用 Pandas 写分区
您需要使用 Parquet 对数据进行分区,然后可以使用过滤器加载它。对于大型数据集,您可以使用 PyArrow、pandas 或 Dask 或 PySpark 将数据写入分区。
例如,在 pandas 中写入分区:
df.to_parquet(
path='analytics.xxx',
engine='pyarrow',
compression='snappy',
columns=['col1', 'col5'],
partition_cols=['event_name', 'event_category']
)
这会将文件布置为:
analytics.xxx/event_name=SomeEvent/event_category=SomeCategory/part-0001.c000.snappy.parquet
analytics.xxx/event_name=SomeEvent/event_category=OtherCategory/part-0001.c000.snappy.parquet
analytics.xxx/event_name=OtherEvent/event_category=SomeCategory/part-0001.c000.snappy.parquet
analytics.xxx/event_name=OtherEvent/event_category=OtherCategory/part-0001.c000.snappy.parquet
在 PyArrow 中加载 Parquet 分区
要使用分区列按一个属性抓取事件,您可以在列表中放置一个元组过滤器:
import pyarrow.parquet as pq
import s3fs
fs = s3fs.S3FileSystem()
dataset = pq.ParquetDataset(
's3://analytics.xxx',
filesystem=fs,
validate_schema=False,
filters=[('event_name', '=', 'SomeEvent')]
)
df = dataset.to_table(
columns=['col1', 'col5']
).to_pandas()
用逻辑与过滤
要使用 AND 获取具有两个或多个属性的事件,您只需创建一个过滤器元组列表:
import pyarrow.parquet as pq
import s3fs
fs = s3fs.S3FileSystem()
dataset = pq.ParquetDataset(
's3://analytics.xxx',
filesystem=fs,
validate_schema=False,
filters=[
('event_name', '=', 'SomeEvent'),
('event_category', '=', 'SomeCategory')
]
)
df = dataset.to_table(
columns=['col1', 'col5']
).to_pandas()
使用逻辑 OR 过滤
要使用 OR 获取两个事件,您需要将过滤器元组嵌套在它们自己的列表中:
import pyarrow.parquet as pq
import s3fs
fs = s3fs.S3FileSystem()
dataset = pq.ParquetDataset(
's3://analytics.xxx',
filesystem=fs,
validate_schema=False,
filters=[
[('event_name', '=', 'SomeEvent')],
[('event_name', '=', 'OtherEvent')]
]
)
df = dataset.to_table(
columns=['col1', 'col5']
).to_pandas()
使用 AWS Data Wrangler 加载 Parquet 分区
正如另一个答案所提到的,将数据过滤加载到某些分区中的某些列(无论数据位于何处(本地或云中))的最简单方法是使用awswrangler 模块。如果您使用的是 S3,请查看 awswrangler.s3.read_parquet() 和 awswrangler.s3.to_parquet() 的文档。过滤的工作原理与上面的示例相同。
import awswrangler as wr
df = wr.s3.read_parquet(
path="analytics.xxx",
columns=["event_name"],
filters=[('event_name', '=', 'SomeEvent')]
)
使用pyarrow.parquet.read_table() 加载 Parquet 分区
如果你使用 PyArrow,你也可以使用pyarrow.parquet.read_table():
import pyarrow.parquet as pq
fp = pq.read_table(
source='analytics.xxx',
use_threads=True,
columns=['some_event', 'some_category'],
filters=[('event_name', '=', 'SomeEvent')]
)
df = fp.to_pandas()
使用 PySpark 加载 Parquet 分区
最后,在 PySpark 中你可以使用pyspark.sql.DataFrameReader.read_parquet()
import pyspark.sql.functions as F
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[1]") \
.appName('Stack Overflow Example Parquet Column Load') \
.getOrCreate()
# I automagically employ Parquet structure to load the selected columns and partitions
df = spark.read.parquet('s3://analytics.xxx') \
.select('event_name', 'event_category') \
.filter(F.col('event_name') == 'SomeEvent')
希望这可以帮助您使用 Parquet :)