sklearn 估算行满足条件

Question

我正在尝试使用 sklearn SimpleImputer 从包含泰坦尼克号数据的 pandas DataFrame 中的特定列中估算缺失的年龄。但是，我想单独使用其他主人年龄的平均值来估算姓名中包含“主人”一词的乘客的缺失值。

我尝试找到该数据，并单独处理：

imputer = SimpleImputer(strategy="mean")

# Copy data
imputed_X = X.copy()

# Get data for "masters"
masters = imputed_X[imputed_X['Name'].str.contains("Master")]

# Get imputed version of Age column
masters_age_imputed = pd.DataFrame(imputer.fit_transform(masters[["Age"]]))
masters_age_imputed.index = masters.index
# (So far so good... the missing values have been replaced with the average)

# But putting those values back into the DataFrame doesn't work:
imputed_X.loc[X['Name'].str.contains("Master"),"Age"] = masters_age_imputed

这不是用平均年龄来计算所有缺失的 Master 的年龄，而是删除所有非缺失的年龄，并用 NaN 替换它们。

有没有更好的方法来做到这一点？例如，一个有效的？除了设置我自己的 for 循环并手动替换所有内容之外？

Answer 1

您需要先适应并使用它来转换数据。当您适合 imputer 时，您可以使用该列以及缺失值。使用该拟合模型使用下面使用的变换来估算缺失值。

你可以试试这个吗？

imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
imp = imp.fit(imputed_X[['Age']])
imputed_X['Age'] = imp.transform(imputed_X[['Age']]).ravel()

如果您只想估算数据的一个子集，(column name contains master for eg)，那么您可以这样做，然后 merge 将其返回到原始数据帧。你不需要循环，你可以pd.merge它回来。