根据 Dask 中的列值删除行

Question

我正在使用dask 读取一个大的 csv 文件。我想根据一列值删除几行。如果该特定列的行值为空，我想删除整行。

我尝试使用.dropna：

df = df.dropna(subset=['tier1_name'],how = 'any',axis =0)

但是，我收到了这个错误：

TypeError: dropna() got an unexpected keyword argument 'axis'

所以我改用.drop：

df.drop(df['tier1_name'].isnull(), axis = 0)

但随后出现此错误：

"Drop currently only works for axis=1 or when columns is not None"
NotImplementedError: Drop currently only works for axis=1 or when columns is not None

我不明白应该使用什么来执行所需的操作。救命！

Answer 1

这里的关键问题是，一般来说，dask 在没有评估的情况下不会知道行数或其内容，因此基于行的操作并不总是易于集成。

作为一种解决方案，可以使用带有适当掩码的.loc，此伪代码可能会有所帮助：

mask = df['tier1_name'].notna()
df_modified = df.loc[mask]
# note that if you need to use .isna(), then the mask value
# should be negated