【发布时间】:2013-10-04 22:58:43
【问题描述】:
我有一个带有以下列名称的 pandas 数据框:
Result1、Test1、Result2、Test2、Result3、Test3 等...
我想删除名称中包含“Test”一词的所有列。此类列的数量不是静态的,而是取决于先前的函数。
我该怎么做?
【问题讨论】:
我有一个带有以下列名称的 pandas 数据框:
Result1、Test1、Result2、Test2、Result3、Test3 等...
我想删除名称中包含“Test”一词的所有列。此类列的数量不是静态的,而是取决于先前的函数。
我该怎么做?
【问题讨论】:
这是一种方法:
df = df[df.columns.drop(list(df.filter(regex='Test')))]
【讨论】:
df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)
list(df.filter(regex='Test')) 以更好地显示该行在做什么。我也会选择df.filter(regex='Test').columns而不是列表转换
like 关键字似乎更合适时,它使用regex 关键字。
filter 的问题在于它将所有数据的副本作为您要删除的列返回。如果您只将此结果传递给drop(它再次返回一个副本),那就太浪费了......更好的解决方案是str.startswith(我在这里添加了一个answer)。
import pandas as pd
import numpy as np
array=np.random.random((2,4))
df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))
print df
Test1 toto test2 riri
0 0.923249 0.572528 0.845464 0.144891
1 0.020438 0.332540 0.144455 0.741412
cols = [c for c in df.columns if c.lower()[:4] != 'test']
df=df[cols]
print df
toto riri
0 0.572528 0.144891
1 0.332540 0.741412
【讨论】:
str.contains
在最新版本的 pandas 中,您可以在索引和列上使用字符串方法。在这里,str.startswith 似乎很合适。
要删除以给定子字符串开头的所有列:
df.columns.str.startswith('Test')
# array([ True, False, False, False])
df.loc[:,~df.columns.str.startswith('Test')]
toto test2 riri
0 x x x
1 x x x
对于不区分大小写的匹配,您可以使用带有 SOL 锚点的 str.contains 的基于正则表达式的匹配:
df.columns.str.contains('^test', case=False)
# array([ True, False, True, False])
df.loc[:,~df.columns.str.contains('^test', case=False)]
toto riri
0 x x
1 x x
如果可以使用混合类型,请同时指定na=False。
【讨论】:
df.loc[:,df....] vs df.loc[df....]?
_drop 结尾的列,接受的答案不能正常工作,这个解决方案确实有效。这应该是公认的答案。
这可以在一行中巧妙地完成:
df = df.drop(df.filter(regex='Test').columns, axis=1)
【讨论】:
df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)
df.drop(df.filter(regex='Test|Rest|Best').columns, axis=1, inplace=True)
您可以使用“过滤器”过滤掉您想要的列
import pandas as pd
import numpy as np
data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]
df = pd.DataFrame(data2)
df
c result1 result34 test test2
0 NaN 2.0 NaN NaN 1.0
1 20.0 NaN 10.0 5.0 NaN
现在过滤
df.filter(like='result',axis=1)
获取..
result1 result34
0 2.0 NaN
1 NaN 10.0
【讨论】:
not like='result'
使用DataFrame.select 方法:
In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})
In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
awesome
0 1.215
1 1.247
2 0.142
3 0.169
4 0.137
5 -0.971
6 0.736
7 0.214
8 0.111
9 -0.214
【讨论】:
FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement
import re。
使用正则表达式匹配所有不包含不需要的单词的列:
df = df.filter(regex='^((?!badword).)*$')
【讨论】:
此方法可以完成所有工作。许多其他答案会创建副本并且效率不高:
df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)
【讨论】:
问题指出“我想删除名称中包含“Test”一词的所有列。'
test_columns = [col for col in df if 'Test' in col]
df.drop(columns=test_columns, inplace=True)
【讨论】:
最短的方法是:
resdf = df.filter(like='Test',axis=1)
【讨论】:
删除包含正则表达式的列名列表时的解决方案。我更喜欢这种方法,因为我经常编辑下拉列表。对下拉列表使用否定过滤器正则表达式。
drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)
【讨论】: