Pandas DataFrame - 根据其他列的值填充列的 NaN

Question

我有几年的广泛数据框架：

df = pd.DataFrame(index=pd.Index([29925, 223725, 280165, 813285, 956765], name='ID'),
                  columns=pd.Index([1991, 1992, 1993, 1994, 1995, 1996, '2010-2012'], name='Year'),
                  data = np.array([[np.NaN, np.NaN, 16, 17, 18, 19, np.NaN],
                                   [16, 17, 18, 19, 20, 21, np.NaN],
                                   [np.NaN, np.NaN, np.NaN, np.NaN, 16, 17, 31],
                                   [np.NaN, 22, 23, 24, np.NaN, 26, np.NaN],
                                   [36, 36, 37, 38, 39, 40, 55]]))

Year     1991  1992  1993  1994  1995  1996  2010-2012
ID                                                    
29925     NaN   NaN  16.0  17.0  18.0  19.0        NaN
223725   16.0  17.0  18.0  19.0  20.0  21.0        NaN
280165    NaN   NaN   NaN   NaN  16.0  17.0       31.0
813285    NaN  22.0  23.0  24.0   NaN  26.0        NaN
956765   36.0  36.0  37.0  38.0  39.0  40.0       55.0

每一行中的值是每个人的年龄，每个人都有一个唯一的 ID。我想根据每行中现有的年龄值，在每一行的每一年中填充此数据框的NaN。

例如，ID 29925 在 1993 中是 16，我们知道它们在 1992 中是 15，在 1991 中是 14，因此我们想将 NaN 替换为 @ 列中的 29925 987654329@ 和1991。同样，我想根据29925 的现有年龄值替换2010-2012 列中的NaN。假设29925 比2010-2012 列中的1996 大15 岁。对整个数据框（即所有 ID）执行此操作的最快方法是什么？

Answer 1

---

# imports we need later
import numpy as np
import pandas as pd

---

这不是一种特别有效的方法，但它确实有效。我将省略你的最后一个专栏，以使事情更系统。

df:

df = pd.DataFrame(index=pd.Index([29925, 223725, 280165, 813285, 956765], name='ID'),
                  columns=pd.Index([1992, 1992, 1993, 1994, 1995, 1996], name='Year'),
                  data = np.array([[np.NaN, np.NaN, 16, 17, 18, 19],
                                   [16, 17, 18, 19, 20, 21],
                                   [np.NaN, np.NaN, np.NaN, np.NaN, 16, 17],
                                   [np.NaN, 22, 23, 24, np.NaN, 26],
                                   [35, 36, 37, 38, 39, 40]]))

计算每个人的出生日期：

dob=[]
for irow, row in enumerate(df.iterrows()):
    dob.append(np.asarray([int(each) for each in df.columns]) - np.asarray(df.iloc[irow,:]))

或者，如果你进入列表comprehensions：

dob = [np.asarray([int(each) for each in df.columns]) - np.asarray(df.iloc[irow,:]) for irow, row in enumerate(df.iterrows())]

现在dob是这样的：

[array([  nan,   nan, 1977., 1977., 1977., 1977.]),
 array([1976., 1975., 1975., 1975., 1975., 1975.]),
 array([  nan,   nan,   nan,   nan, 1979., 1979.]),
 array([  nan, 1970., 1970., 1970.,   nan, 1970.]),
 array([1956., 1956., 1956., 1956., 1956., 1956.])]

使用np.unique、remove nans 制作更简单的 dob 列表：

dob_filtered=[np.unique(each[~np.isnan(each)])[0] for each in dob]

dob_filtered 现在看起来像这样：

[1977.0, 1975.0, 1979.0, 1970.0, 1956.0]

Attach这个列表到数据框：

df['dob']=dob_filtered

使用dob 列填写df 的NaNs：

for irow, row in enumerate(df.index):
    for icol, col in enumerate(df.columns[:-2]):
        df.loc[row,col] = col - df['dob'][row]

Deletedob列（只是为了获取原始列而已，否则不重要）：

df.drop(['dob'],axis=1)

获取：

Year    1992    1992    1993    1994    1995    1996
ID                      
29925   15.0    15.0    16.0    17.0    18.0    19.0
223725  17.0    17.0    18.0    19.0    20.0    21.0
280165  13.0    13.0    14.0    15.0    16.0    17.0
813285  22.0    22.0    23.0    24.0    25.0    26.0
956765  36.0    36.0    37.0    38.0    39.0    40.0

即