熊猫：使用〜删除数据帧的子集

Question

我正在尝试根据几个条件过滤数据框。然后，我想从一个单独的、更大的数据框中删除该子集。

df = pd.DataFrame({ 'A' : ['UNKNOWN','UNK','TEST','TEST'],
                    'E' : pd.Categorical(["test","train","test","train"]),
                    'F' : 'foo' })

df2 = pd.DataFrame({ 'A' : ['UNKNOWN','UNK','TEST','TEST','UNKOWN','UNKKK'],
                    'E' : pd.Categorical(["test","train","test","train",'train','train']),
                    'D' : np.array([3] * 6,dtype='int32'),
                    'F' : 'foo' })

rgx = r'UNKNOWN|UNK'
df_drop = df.loc[df['A'].str.contains(rgx, na=False, flags=re.IGNORECASE, regex=True, case=False)]
df2 = df2[~df_drop]

我想要 df2 的以下输出：

         A  D      E    F
2     TEST  3   test  foo
3     TEST  3  train  foo

相反，我收到以下错误：

TypeError: 一元操作数类型错误 ~: 'str'

我不直接过滤 df2 的原因是我想让 df_drop 成为自己单独的数据帧，以保留我删除的记录。

我想我误解了一元应该如何工作。或者我犯了语法错误。但我找不到它，以前的解决方案（例如，removing NaNs from the dataframe）似乎都不适用于这里。

Answer 1

我认为您需要在大数据框中进行过滤：

rgx = r'UNKNOWN|UNK'
mask = df2['A'].str.contains(rgx, na=False, flags=re.IGNORECASE, regex=True, case=False)
print (mask)
0     True
1     True
2    False
3    False
4     True
5     True
Name: A, dtype: bool

print (df2[~mask])
      A  D      E    G
2  TEST  3   test  foo
3  TEST  3  train  foo