Pandas：删除所有列中的所有 NaN 值 [重复]

Question

我有一个包含许多空记录的数据框：

Col_1    Col_2      Col_3
10         5          2
22         7          7
3         9          5       
4         NaN       NaN
5         NaN       NaN
6         4         NaN
7         6          7
8         10        NaN
12        NaN        1

我想删除所有列中的所有 NaN 值。如您所见，每一列都有不同的行数。所以，我想得到这样的东西：

Col_1    Col_2      Col_3
10         5          2
22         7          7
3          9          5       
4          4          7
6          6          1
7         10          
8                 
12    

我试过了

filtered_df = df.dropna(how='any')

但它会删除数据框中的所有记录。我该怎么做？

Answer 1

你也可以试试这个

censos_data.dropna(subset=censos_data.columns,inplace=True)

Answer 2

如您所见，每一列都有不同的行数。

DataFrame 是一种表格数据结构：您可以查找索引和列，并找到值。如果每列的行数不同，则索引是无意义的且具有误导性。 dict 可能是更好的选择：

{c: df[c].dropna().values for c in df.columns}

或

{c: list(df[c]) for c in df.columns}

Answer 3

您也可以在系列列表中使用pd.concat。

请注意，由于NaN 元素，列Col_2 和Col_3 不可避免地是float，如果您删除dtype=object 作为选项。

res = pd.concat([df[x].dropna().reset_index(drop=True) for x in df], axis=1)

print(res)

   Col_1  Col_2  Col_3
0     10    5.0    2.0
1     22    7.0    7.0
2      3    9.0    5.0
3      4    4.0    7.0
4      5    6.0    1.0
5      6   10.0    NaN
6      7    NaN    NaN
7      8    NaN    NaN
8     12    NaN    NaN

Answer 4

使用 Divakar 的 justify 函数——

df[:] = justify(df.values, invalid_val=np.nan, axis=0, side='up')
df = df.fillna('')

print(df)

   Col_1 Col_2 Col_3
0   10.0     5     2
1   22.0     7     7
2    3.0     9     5
3    4.0     4     7
4    5.0     6     1
5    6.0    10      
6    7.0            
7    8.0            
8   12.0