【问题标题】:Drop columns whose name contains a specific string from pandas DataFrame从 pandas DataFrame 中删除名称包含特定字符串的列
【发布时间】:2013-10-04 22:58:43
【问题描述】:

我有一个带有以下列名称的 pandas 数据框:

Result1、Test1、Result2、Test2、Result3、Test3 等...

我想删除名称中包含“Test”一词的所有列。此类列的数量不是静态的,而是取决于先前的函数。

我该怎么做?

【问题讨论】:

    标签: python pandas dataframe


    【解决方案1】:

    这是一种方法:

    df = df[df.columns.drop(list(df.filter(regex='Test')))]
    

    【讨论】:

    • 或直接到位:df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)
    • 这是一个比公认的答案更优雅的解决方案。我会进一步分解它以说明原因,主要是提取list(df.filter(regex='Test')) 以更好地显示该行在做什么。我也会选择df.filter(regex='Test').columns而不是列表转换
    • 这个比公认的答案更优雅。
    • 我真的很想知道 cmets 说这个答案是“优雅”是什么意思。当python代码首先应该是可读的时,我自己觉得它很混乱。它也比第一个答案慢两倍。当like 关键字似乎更合适时,它使用regex 关键字。
    • 这实际上并不像人们声称的那样好。 filter 的问题在于它将所有数据的副本作为您要删除的列返回。如果您只将此结果传递给drop(它再次返回一个副本),那就太浪费了......更好的解决方案是str.startswith(我在这里添加了一个answer)。
    【解决方案2】:
    import pandas as pd
    
    import numpy as np
    
    array=np.random.random((2,4))
    
    df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))
    
    print df
    
          Test1      toto     test2      riri
    0  0.923249  0.572528  0.845464  0.144891
    1  0.020438  0.332540  0.144455  0.741412
    
    cols = [c for c in df.columns if c.lower()[:4] != 'test']
    
    df=df[cols]
    
    print df
           toto      riri
    0  0.572528  0.144891
    1  0.332540  0.741412
    

    【讨论】:

    • OP 没有指定删除应该不区分大小写。
    【解决方案3】:

    更便宜、更快、更符合习惯:str.contains

    在最新版本的 pandas 中,您可以在索引和列上使用字符串方法。在这里,str.startswith 似乎很合适。

    要删除以给定子字符串开头的所有列:

    df.columns.str.startswith('Test')
    # array([ True, False, False, False])
    
    df.loc[:,~df.columns.str.startswith('Test')]
    
      toto test2 riri
    0    x     x    x
    1    x     x    x
    

    对于不区分大小写的匹配,您可以使用带有 SOL 锚点的 str.contains 的基于正则表达式的匹配:

    df.columns.str.contains('^test', case=False)
    # array([ True, False,  True, False])
    
    df.loc[:,~df.columns.str.contains('^test', case=False)] 
    
      toto riri
    0    x    x
    1    x    x
    

    如果可以使用混合类型,请同时指定na=False

    【讨论】:

    • 嗨cs95,你能解释一下语法背后的语法/思想吗?为什么我们需要使用冒号和逗号?那么为什么df.loc[:,df....] vs df.loc[df....]
    • 在我的测试数据中,对于以_drop 结尾的列,接受的答案不能正常工作,这个解决方案确实有效。这应该是公认的答案。
    【解决方案4】:

    这可以在一行中巧妙地完成:

    df = df.drop(df.filter(regex='Test').columns, axis=1)
    

    【讨论】:

    • 类似(并且更快):df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)
    • 对于多个条件,可以这样做df.drop(df.filter(regex='Test|Rest|Best').columns, axis=1, inplace=True)
    • 对上述解决方案的出色改编以过滤多个条件!感谢您发布此内容:)
    【解决方案5】:

    您可以使用“过滤器”过滤掉您想要的列

    import pandas as pd
    import numpy as np
    
    data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]
    
    df = pd.DataFrame(data2)
    
    df
    
        c   result1     result34    test    test2
    0   NaN     2.0     NaN     NaN     1.0
    1   20.0    NaN     10.0    5.0     NaN
    

    现在过滤

    df.filter(like='result',axis=1)
    

    获取..

       result1  result34
    0   2.0     NaN
    1   NaN     10.0
    

    【讨论】:

    • 最佳答案!谢谢。你如何过滤相反的? not like='result'
    • 然后执行以下操作:df=df.drop(df.filter(like='result',axis=1).columns,axis=1)
    【解决方案6】:

    使用DataFrame.select 方法:

    In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})
    
    In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
    Out[39]:
       awesome
    0    1.215
    1    1.247
    2    0.142
    3    0.169
    4    0.137
    5   -0.971
    6    0.736
    7    0.214
    8    0.111
    9   -0.214
    

    【讨论】:

    • 并且操作没有指定数字必须跟随“测试”:我想删除名称中包含“测试”一词的所有列
    • Test 后面的数字的假设是完全合理的。重新阅读问题。
    • 现在看到:FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement
    • 记得提前import re
    【解决方案7】:

    使用正则表达式匹配所有不包含不需要的单词的列:

    df = df.filter(regex='^((?!badword).)*$')
    

    【讨论】:

      【解决方案8】:

      此方法可以完成所有工作。许多其他答案会创建副本并且效率不高:

      df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

      【讨论】:

        【解决方案9】:

        问题指出“我想删除名称中包含“Test”一词的所有列。'

        test_columns = [col for col in df if 'Test' in col]
        df.drop(columns=test_columns, inplace=True)
        

        【讨论】:

          【解决方案10】:

          最短的方法是:

          resdf = df.filter(like='Test',axis=1)
          

          【讨论】:

          • 这已经被this answer覆盖了。
          • 虽然上述评论中链接的答案相似,但并不相同。事实上,情况几乎相反。
          【解决方案11】:

          删除包含正则表达式的列名列表时的解决方案。我更喜欢这种方法,因为我经常编辑下拉列表。对下拉列表使用否定过滤器正则表达式。

          drop_column_names = ['A','B.+','C.*']
          drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
          print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
          df = df.filter(regex=drop_columns_regex,axis=1)
          

          【讨论】:

            猜你喜欢
            • 2022-11-17
            • 2017-03-18
            • 1970-01-01
            • 2022-07-25
            • 2022-01-17
            • 2019-07-02
            相关资源
            最近更新 更多