非常大的 CSV 文件 - 如何仅将某些行读取到数据框中

Question

我有一个非常大的 csv 文件，我无法使用 pandas read_csv 加载到我的计算机内存中。

我看dask.dataframe as dd

我需要使用 dask 从该 csv 文件中仅读取某些列的某些行并将其存储为 panda 数据框。

例如：

User  ProductA  ProductB
A     1         2
B     2         3
C     3         1

如何使用 dask 仅读取用户 C 的行和 ProductA 列？

需要输出为数据框：

User  ProductA
C     3

Answer 1

您可以使用dask.dataframe 的read_csv 函数，过滤然后将您的df 转换为pandas 数据框：

import dask.dataframe as dd
import pandas as pd

path2file = "yourpath.csv"
cols = ["User", "ProductA"]
# Be careful about the sep (check if it is ; or something else and add it to the
# function below as parameter if so
dataset = dd.read_csv(path2file, usecols=cols)
# Filter 
dataset = dataset.loc[dataset["User"]=="C"]), :]
dataset = dataset.compute()