使用 Dask 导入大型 CSV 文件答案

【问题标题】：importing large CSV file using Dask使用 Dask 导入大型 CSV 文件
【发布时间】：2021-10-07 16:39:52
【问题描述】：

我正在使用 Dask 导入一个非常大的 csv 文件 ~680GB，但是，输出不是我所期望的。我的目标是只选择一些列（6/50），并可能过滤它们（我不确定，因为似乎没有数据？）：

import dask.dataframe as dd

file_path = "/Volumes/Seagate/Work/Tickets/Third ticket/Extinction/species_all.csv"

cols = ['year', 'species', 'occurrenceStatus', 'individualCount', 'decimalLongitude', 'decimalLatitde']
dataset = dd.read_csv(file_path, names=cols,usecols=[9, 18, 19, 21, 22, 32])

当我将它读入 Jupyter 时，我无法理解输出 - 控制台输出：

Dask DataFrame Structure:
                     year species occurrenceStatus individualCount decimalLongitude decimalLatitde
npartitions=11397                                                                                 
                   object  object           object          object           object         object
                      ...     ...              ...             ...              ...            ...
...                   ...     ...              ...             ...              ...            ...
                      ...     ...              ...             ...              ...            ...
                      ...     ...              ...             ...              ...            ...
Dask Name: read-csv, 11397 tasks

【问题讨论】：

标签： python dataframe dask dask-dataframe vaex

【解决方案1】：

您似乎已成功创建了一个 dask 数据框。如果您期待类似 pandas 数据框的内容，那么您可以使用 dataset.head() 查看数据。对于更多涉及的计算，最好保持数据集惰性（作为 dask 数据帧），并使用标准 pandas 语法进行所有转换。

# this is needed to call dask.compute
import dask

# for example take a subset
subset_data = dataset[dataset['year']>2000]

# find out the total value for this column
lazy_result = subset_data['individualCount'].sum()

# now that the target is known use .compute
computed_result = dask.compute(lazy_result)

除了 dask，您还可以查看 vaex，出于某些目的可能会更好：https://vaex.io/

【讨论】：

【解决方案2】：

1.懒惰计算

Dask 懒惰地评估。单独调用dataset 不会触发任何计算。您需要调用dataset.compute() 或dataset.persist() 来触发计算并检查数据帧。现有答案使用dataframe.head() 的建议本质上是在数据子集上调用.compute()。阅读更多关于这意味着什么here in the Dask docs

2。列修剪

您可能需要考虑将数据集转换为 Parquet。来自this resource：“Parquet 让您可以从数据集中读取特定列，而无需读取整个文件。这称为列修剪，可以大幅提升性能。”

玩具代码示例

# read in your csv
dataset= dd.read_csv('your.csv')

# store as parquet
dataset.to_parquet('your.parquet', engine='pyarrow')

# read in parquet file with selected columns
dataset = dd.read_parquet('your.parquet', columns=list_of_columns)
dataset.head()

【讨论】：