使用 Python 'in' 运算符检查 Dataframe 列值是否在字符串列表中会导致 ValueError

Question

我有一个类似的数据集：

    Mother ID ChildID    ethnicity
0     1       1          White Other
1     2       2          Indian
2     3       3          Black
3     4       4          Other
4     4       5          Other
5     5       6          Mixed-White and Black

为了简化我的数据集并使其与我正在执行的分类更加相关，我想将种族分为 3 类：

1. 白人：在此类别中，我将包括“英国白人”和“其他白人”价值观
2. 南亚：该类别将包括“巴基斯坦”、“印度”、“孟加拉国”
3. 其他：“其他”、“黑色”、“混合白色和黑色”、“混合白色和南亚”值

所以我希望将上面的数据集转换为：

    Mother ID ChildID    ethnicity
0     1       1          White
1     2       2          South Asian
2     3       3          Other
3     4       4          Other
4     4       5          Other
5     5       6          Other

为此，我运行了以下代码，类似于answer 中提供的代码：

    col         = 'ethnicity'
    conditions  = [ (df[col] in ('White British', 'White Other')),
                   (df[col] in ('Indian', 'Pakistani', 'Bangladeshi')),
                   (df[col] in ('Other', 'Black', 'Mixed-White and Black', 'Mixed-White and South Asian'))]
    choices     = ['White', 'South Asian', 'Other']
        
    df["ethnicity"] = np.select(conditions, choices, default=np.nan)
    

但是在运行它时，我收到以下错误： ValueError：Series 的真值不明确。使用 a.empty、a.bool()、a.item()、a.any() 或 a.all()。

知道为什么我会收到此错误吗？我没有正确处理字符串比较吗？我正在使用类似的技术来操作我的数据集中的其他特征，并且在那里运行良好。

Answer 1

我找不到in为什么不起作用，但是isin肯定解决了问题，也许其他人可以告诉为什么in有问题。

conditions  = [ (df[col].isin(('White British', 'White Other'))),
                (df[col].isin(('Indian', 'Pakistani', 'Bangladeshi'))),
                (df[col].isin(('Other', 'Black', 'Mixed-White and Black', 'Mixed-White and South Asian')))]
print(conditions)
choices     = ['White', 'South Asian', 'Other']

df["ethnicity"] = np.select(conditions, choices, default=np.nan)
print(df)

输出

   Mother ID  ChildID    ethnicity
0          1        1        White
1          2        2  South Asian
2          3        3        Other
3          4        4        Other
4          4        5        Other
5          5        6          nan

Answer 2

使用df[col] in some_tuple，您在some_tuple 中搜索df[col]，这显然不是您想要的。你想要的是df[col].isin(some_tuple)，它返回一系列与df[col] 相同长度的新布尔值。

那么，为什么还是会出现该错误？在元组中搜索值的函数大致如下：

for v in some_tuple:
    if df[col] == v:
        return True
return False

• df[col] == v 计算为一系列 result；这里没问题
• 然后 Python 尝试评估 if result: 并且您收到该错误，因为您在条件子句中有一个系列，这意味着您（隐式）尝试将系列评估为布尔值； pandas 不允许这样做。

---

对于你的问题，无论如何，我会使用DataFrame.apply。它需要一个将一个值映射到另一个的函数；在您的情况下，将每个种族映射到一个类别的功能。有很多方法可以定义它（见下面的选项）。

import numpy as np
import pandas as pd

d = pd.DataFrame({
    'field': range(6),
    'ethnicity': list('ABCDE') + [np.nan]
})

# Option 1: define a dict {ethnicity: category}
category_of = {
    'A': 'X',
    'B': 'X',
    'C': 'Y',
    'D': 'Y',
    'E': 'Y',
    np.nan: np.nan,
}
result = d.assign(category=d['ethnicity'].apply(category_of.__getitem__))
print(result)

# Option 2: define categories, then "invert" the dict.
categories = {
    'X': ['A', 'B'],
    'Y': ['C', 'D', 'E'],
    np.nan: [np.nan],
}
# If you do this frequently you could define a function invert_mapping(d):
category_of = {eth: cat
               for cat, values in categories.items()
               for eth in values}
result = d.assign(category=d['ethnicity'].apply(category_of.__getitem__))
print(result)

# Option 3: define a function (a little less efficient)
def ethnicity_to_category(ethnicity):
    if ethnicity in {'A', 'B'}:
        return 'X'
    if ethnicity in {'C', 'D', 'E'}:
        return 'Y'
    if pd.isna(ethnicity):
        return np.nan
    raise ValueError('unknown ethnicity: %s' % ethnicity)

result = d.assign(category=d['ethnicity'].apply(ethnicity_to_category))
print(result)