你如何按多列过滤熊猫数据框

Question

要按单列过滤数据框 (df)，如果我们考虑包含男性和女性的数据，我们可能会：

males = df[df[Gender]=='Male']

问题 1 - 但是如果数据跨越多年，而我只想查看 2014 年的男性呢？

在其他语言中，我可能会这样做：

if A = "Male" and if B = "2014" then 

（除非我想这样做并在新数据框对象中获取原始数据框的子集）

问题 2。如何循环执行此操作，并为每个唯一的年份和性别集创建一个数据框对象（即 df 为：2013-Male、2013-Female、2014-Male 和 2014-Female

for y in year:

for g in gender:

df = .....

Answer 1

由于您要查找的行基本上满足 Column_A='Value_A' 和 Column_B='Value_B' 的条件

你可以使用loc

df = df.loc[df['Column_A'].eq('Value_A') & df['Column_B'].eq('Value_B')]

你可以在这里找到完整的文档panda loc

Answer 2

您可以在pandas 中使用query 创建自己的过滤器函数。在这里，您可以通过所有 kwargs 参数过滤 df 结果。不要忘记添加一些验证器（kwargs 过滤）来为您自己的df 获取过滤功能。

def filter(df, **kwargs):
    query_list = []
    for key in kwargs.keys():
        query_list.append(f'{key}=="{kwargs[key]}"')
    query = ' & '.join(query_list)
    return df.query(query)

Answer 3

如果有人想知道什么是更快的过滤方式（接受的答案或来自@redreamality 的答案）：

import pandas as pd
import numpy as np

length = 100_000
df = pd.DataFrame()
df['Year'] = np.random.randint(1950, 2019, size=length)
df['Gender'] = np.random.choice(['Male', 'Female'], length)

%timeit df.query('Gender=="Male" & Year=="2014" ')
%timeit df[(df['Gender']=='Male') & (df['Year']==2014)]

100,000 行的结果：

6.67 ms ± 557 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
5.54 ms ± 536 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

10,000,000 行的结果：

326 ms ± 6.52 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
472 ms ± 25.1 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

因此结果取决于大小和数据。在我的笔记本电脑上，query() 在 500k 行后变得更快。此外，Year=="2014" 中的字符串搜索有不必要的开销（Year==2014 更快）。

Answer 4

您可以通过使用np.logical_and 运算符替换&（或np.logical_or 替换|）按多列（多于两列）进行过滤

如果您为多个字段提供目标值，下面是一个可以完成这项工作的示例函数。您可以调整它以适应不同类型的过滤等等：

def filter_df(df, filter_values):
    """Filter df by matching targets for multiple columns.

    Args:
        df (pd.DataFrame): dataframe
        filter_values (None or dict): Dictionary of the form:
                `{<field>: <target_values_list>}`
            used to filter columns data.
    """
    import numpy as np
    if filter_values is None or not filter_values:
        return df
    return df[
        np.logical_and.reduce([
            df[column].isin(target_values) 
            for column, target_values in filter_values.items()
        ])
    ]

用法：

df = pd.DataFrame({'a': [1, 2, 3, 4], 'b': [1, 2, 3, 4]})

filter_df(df, {
    'a': [1, 2, 3],
    'b': [1, 2, 4]
})

Answer 5

从pandas 0.13开始，这是最有效的方式。

df.query('Gender=="Male" & Year=="2014" ')

Answer 6

对于您希望用作过滤器并且依赖于多个列的更通用的布尔函数，您可以使用：

df = df[df[['col_1','col_2']].apply(lambda x: f(*x), axis=1)]

其中 f 是一个函数，它应用于 col_1 和 col_2 中的每对元素 (x1, x2)，并根据您想要的 (x1, x2) 上的任何条件返回 True 或 False。

Answer 7

使用& 运算符，不要忘记用() 包装子语句：

males = df[(df[Gender]=='Male') & (df[Year]==2014)]

使用 for 循环将数据帧存储在 dict 中：

from collections import defaultdict
dic={}
for g in ['male', 'female']:
  dic[g]=defaultdict(dict)
  for y in [2013, 2014]:
    dic[g][y]=df[(df[Gender]==g) & (df[Year]==y)] #store the DataFrames to a dict of dict

编辑：

getDF 的演示：

def getDF(dic, gender, year):
  return dic[gender][year]

print genDF(dic, 'male', 2014)