Dask：在列上删除 NA？

Question

我已尝试应用过滤器来删除具有太多 NA 的列到我的 dask 数据帧：

df.dropna(axis=1, how='all', thresh=round(len(df) * .8))

不幸的是，dask dropna API 似乎与 pandas 略有不同，既不接受 axis 也不接受 threshold。 解决它的一种部分方法是逐列迭代并删除那些常量（无论它们是否填充了 NA，因为我不介意摆脱常量）：

    for col in df.columns:
        if len(df[col].unique()) == 1:
            new_df = df.drop(col, axis = 1)

但这并不能让我应用阈值。我可以通过添加手动计算阈值：

elif sum(df[col].isnull().compute()) / len(df[col]) > 0.8:
    new_df = df.drop(col, axis = 1)

但我不确定此时调用 compute 和 len 是否是最佳选择，我很想知道是否有更好的方法来解决这个问题？

Answer 1

2021 年 8 月 10 日更新：

现在 Dask 有 axis、thresh 和 subset 参数可能会有所帮助。前面的答案可以改写为：

df.dropna(subset=columns_to_inspect, thresh=threshold_to_drop_na, axis=1)

旧答案

你是对的，没有办法使用df.dropna()来做到这一点。

我建议使用这个等式 df.loc[:,df.isnull().sum()<THRESHOLD]

Answer 2

df.loc[:,df.isnull().sum()

产生 KeyError，因为您需要计算索引器：

KeyError: "None of [Index([ True,  True,  True,  True,  True,  True,  True,  True,  True,  True,\n        True,  True,  True, False, False, False, False, False,  True],\n      dtype='object')] are in the [columns]"

结合skibee和Starukhin Yaroslav的答案，我使用：

df.loc[:, ~df.isna().all().compute()]

如果你想使用一个阈值，你可以使用：

df.loc[:, ~df.isna().sum().compute() > THRESHOLD]

Answer 3

我们遇到了类似的问题，使用了以下代码：

for col in df.columns:
    if df[col].isnull().all().compute()=True:
        df = df.drop(col,axis=1)