Pandas：IndexingError：作为索引器提供的不可对齐布尔系列

Question

我正在尝试运行我认为是简单的代码来消除所有包含所有 NaN 的列，但无法让它工作（axis = 1 在消除行时工作得很好）：

import pandas as pd
import numpy as np

df = pd.DataFrame({'a':[1,2,np.nan,np.nan], 'b':[4,np.nan,6,np.nan], 'c':[np.nan, 8,9,np.nan], 'd':[np.nan,np.nan,np.nan,np.nan]})

df = df[df.notnull().any(axis = 0)]

print df

完全错误：

raise IndexingError('Unalignable boolean Series provided as 'pandas.core.indexing.IndexingError: Unalignable boolean Series provided as indexer (index of the boolean Series and of the indexed object do not match

预期输出：

     a    b    c
0  1.0  4.0  NaN
1  2.0  NaN  8.0
2  NaN  6.0  9.0
3  NaN  NaN  NaN

Answer 1

您需要loc，因为按列过滤：

print (df.notnull().any(axis = 0))
a     True
b     True
c     True
d    False
dtype: bool

df = df.loc[:, df.notnull().any(axis = 0)]
print (df)

     a    b    c
0  1.0  4.0  NaN
1  2.0  NaN  8.0
2  NaN  6.0  9.0
3  NaN  NaN  NaN

或者过滤列然后按[]选择：

print (df.columns[df.notnull().any(axis = 0)])
Index(['a', 'b', 'c'], dtype='object')

df = df[df.columns[df.notnull().any(axis = 0)]]
print (df)

     a    b    c
0  1.0  4.0  NaN
1  2.0  NaN  8.0
2  NaN  6.0  9.0
3  NaN  NaN  NaN

或dropna 和参数how='all' 仅删除由NaNs 填充的所有列：

print (df.dropna(axis=1, how='all'))
     a    b    c
0  1.0  4.0  NaN
1  2.0  NaN  8.0
2  NaN  6.0  9.0
3  NaN  NaN  NaN

Answer 2

您可以将dropna 与axis=1 和thresh=1 一起使用：

In[19]:
df.dropna(axis=1, thresh=1)

Out[19]: 
     a    b    c
0  1.0  4.0  NaN
1  2.0  NaN  8.0
2  NaN  6.0  9.0
3  NaN  NaN  NaN

这将删除任何没有至少 1 个非 NaN 值的列，这意味着任何包含所有 NaN 的列都将被删除

你尝试失败的原因是因为布尔掩码：

In[20]:
df.notnull().any(axis = 0)

Out[20]: 
a     True
b     True
c     True
d    False
dtype: bool

不能在默认使用的索引上对齐，因为这会在列上产生一个布尔掩码

Answer 3

我来到这里是因为我试图像这样过滤前 2 个字母：

filtered = df[(df.Name[0:2] != 'xx')] 

解决方法是：

filtered = df[(df.Name.str[0:2] != 'xx')]