从列表或字典中编写任意大小的布尔表达式

Question

我正在处理的 pandas 数据帧对列有一些统一的标签架构，但列的数量是任意的。

例如，下面的 df 包含列 col_names、列的特殊子集以及与这些特殊列对应的过滤条件。它们是通过索引链接的，也可以通过字典链接，任你选择。

col_names = ['col1','col2','col3','xyz.1','xyz.2','xyz.3']
relevant_col_names = ['xyz.1', 'xyz.2', 'xyz.3']
filter_criteria = [something1, something2, something3]

我想获取 'xyz.1' == something1 & 'xyz.2' == something2 & 'xyz.3' ==something3 的子集数据框

我通常会这样做：

whatIwant = df.loc[df['xyz.1']==something1 & df['xyz.2']==something2 & df['xyz.3']==something3]

问题是我需要能够为任意数量的“xyz”列编写该表达式，而无需手动编写上述表达式。

例如，如果 df 恰好有 5 个相关列，如下所示：

['col1','col2','col3','xyz.1','xyz.2','xyz.3','xyz.4','xyz.5']

然后我需要自动写这样的东西：

whatIwant = df.loc[df['xyz.1']==something1 & df['xyz.2']==something2 & df['xyz.3']==something3 & df['xyz.4']==something4 & df['xyz.5']==something5]

有没有办法根据列表或字典（或其他东西）编写任意长度的布尔表达式，我在其中对其中的所有内容进行与运算？

我不知道如何用谷歌来表达这个问题。它似乎与列表和字典理解、表达式合成或其他东西有关。即使知道表达这个问题的正确方法，如何为stackoverflow标记这个问题，和/或我应该谷歌什么，也会很有帮助。谢谢！

Answer 1

假设你有一个列表中的所有“东西”，你可以这样做：

import functools
import operator
import pandas as pd

df = pd.DataFrame.from_dict({
    "abc": (1, 2, 3),
    "xyz.1": (4, 2, 7),
    "xyz.2": (8, 5, 5)
})
targets = [2, 5]

filtered_dfs = (df[f"xyz.{index + 1}"] == target for index, target in enumerate(targets))
filtered_df = df.loc[functools.reduce(operator.and_, filtered_dfs)]

print(filtered_df)

我们通过执行df[f"xyz.{index + 1}"] == target 在filtered_dfs 中的df 上构造每个过滤器。对于通过targets 的第一次迭代，这将是df["xyz.1"] == 2。对于第二次迭代，它将是df["xyz.2"] == 5。

然后我们将所有这些过滤器与functools.reduce(operator.and_, filtered_dfs) 结合起来，就像在做filtered_df_1 & filtered_df_2 & ...。

我们最终通过df.loc 将过滤器应用于数据帧，这给出了在xyz.1 和xyz.2 中具有2 和5 的行。输出是：

   abc  xyz.1  xyz.2
1    2      2      5