不能在 Python 中删除空值

Question

我得到这个数据集，当值为空时，它有符号-

起初我认为这不是问题，所以我删除了这些行：

df_c = df[df != '-']

但它实际上并没有删除行，而是用 NaN 代替 -

然后我做了：

df_c = df_c[df_c.notnull()]

但它不起作用，它又给了我-。 我做错了什么？

Answer 1

mask + dropna

您可以使用布尔数据框进行屏蔽，然后使用dropna：

df = pd.DataFrame({'A': [1, '-', '-', 4, '-'],
                   'B': ['A', 'B', '-', 'C', '-'],
                   'C': [0.5, '-', '-', 1.5, 2.5]})

df = df.mask(df == '-').dropna()

print(df)

   A  B    C
0  1  A  0.5
3  4  C  1.5

默认情况下，dropna 删除行 (axis=0)，其中 any 值为空 (how='any')。您可以根据需要修改这些参数。

注意：这在功能上与df = df[df != '-'].dropna() 相同。不过，从外观的角度来看，mask 的意图可能看起来更清晰。

---

您的解决方案的问题是 df_c.notnull() 提供了一个布尔 dataframe 数组，但您想通过一维数组/系列进行索引。您可以使用：

df_c = df[df != '-']
df_c = df_c[df_c.notnull().all(1)]

但这很冗长，可能效率低下。