当列数未知时，替换 Pandas Dataframe 中特定列中的值

Question

我是 Python 和堆栈交换的新手。我一直在尝试用特定列中的 np.nan 替换无效值（ x12）。

我不知道我必须处理多少列，因此必须创建一个考虑到这一点的通用代码。但是我知道，前两列分别是 ID 和名称。我已经在 google 和 stacks exchange 上搜索了一个解决方案，但一直无法找到解决我的特定目标的解决方案。

我的问题是；如何替换第三列及以后的值？

我的数据框是这样的；

Data

我试过这条线：

Data[Data > 12.0] = np.nan.

这用 nan 替换了前两列

1st attempt

我试过这条线：

Data[(Data.iloc[(range(2,Columns))] >=12) & (Data.iloc[(range(2,Columns))]<=-3)] = np.nan

在哪里，

Columns = len(Data.columns)

替换第 2 行到第 6 行（列 = 7）中的所有值显然是错误的。

2nd attempt

任何想法将不胜感激。

Python 3.6.1 64 位，Qt 5.6.2，达尔文上的 PyQt5 5.6

Answer 1

您正在寻找applymap() 方法。

import pandas as pd
import numpy as np

# get the columns after the second one
cols = Data.columns[2:]

# apply mask to those columns
new_df = Data[cols].applymap(lambda x: np.nan if x > 12 or x <= -3 else x)

文档：https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.applymap.html

此方法假定您的第二列之后的列包含 float 或 int 值。

Answer 2

您可以通过使用 iloc 并切片您需要的列来为数据框的特定列设置值。然后我们可以使用where设置值

使用一些随机数据的简短示例

df = pd.DataFrame(np.random.randint(0,10,(4,10)))


   0  1  2  3  4  5  6  7  8  9
0  7  7  9  4  2  6  6  1  7  9
1  0  1  2  4  5  5  3  9  0  7
2  0  1  4  4  3  8  7  0  6  1
3  1  4  0  2  5  7  2  7  9  9

现在我们使用 iloc 设置要更新的区域和要更新的区域，并将索引为 2 的列分割到最后一列

df.iloc[:,2:] = df.iloc[:,2:].where((df < 7) & (df > 2))

这会将数据框中的值设置为NaN。

   0  1    2    3    4    5    6   7    8   9
0  7  7  NaN  4.0  NaN  6.0  6.0 NaN  NaN NaN
1  0  1  NaN  4.0  5.0  5.0  3.0 NaN  NaN NaN
2  0  1  4.0  4.0  3.0  NaN  NaN NaN  6.0 NaN
3  1  4  NaN  NaN  5.0  NaN  NaN NaN  NaN NaN

---

对于您的数据，代码是这样的

Data.iloc[:,2:] = Data.iloc[:,2:].where((Data <= 12) & (Data >= -3))

---

运营商说明

我在上面直接显示的设置如下所示

-3 <= Data <= 12，给出这些数字之间的所有内容

如果我们使用& 运算符反转这个逻辑，它看起来像这样

-3 >= Data <= 12,一个数字不能同时小于 -3 和大于 12。

所以我们使用 or 运算符来代替 |。代码现在看起来像这样......

Data.iloc[:,2:] = Data.iloc[:,2:].where((Data >= 12) | (Data <= -3))

所以有条件地检查数据

Data <= -3 or Data >= 12