当连续两行不重复 NaN 时，将 NaN 值替换为单词

Question

对于以下数据框：

index   Sent    col_1   col_2   col_3
    1   AB       NaN      DD     CC
    1             0       1       0
    2   SA        FA      FB      NaN
    2             1       1       NaN
    3   FF       Sha      NaN     PA
    3             1        0       1

当 NAN 在两个连续行中不重复时，我需要将 col_1、col_2、col_3 中的 NAN 值替换为“F”。输出是这样的：

     index   Sent   col_1   col_2   col_3
        1   AB        F       DD     CC
        1             0       1       0
        2   SA        FA      FB      NaN
        2             1       1       NaN
        3   FF       Sha      F       PA
        3             1       0       1

This is my code:
for col in ['col_1', 'col_2', 'col_3']:
    data = np.reshape(df[col].values, (-1, 2))
    need_fill = np.logical_and(data[:, 0] == '', data[:, 1] != '')
    data[np.where(need_fill),1] = 'F'

但是它将 NAN 值下的 0 替换为 F。我如何修复将 NAN 替换为 F 的代码。

Answer 1

可能有更好的方法，但一种方法是尝试使用shift 来查看上方的row 和下方的row。但是，对于第一行和最后一行，它会产生问题。因此，如果添加额外的行并稍后删除它不是问题，您可以尝试以下操作：

# Appending row to the top: https://stackoverflow.com/a/24284680/5916727
df.loc[-1] = [0 for n in range(len(df.columns))]
df.index = df.index + 1  # shifting index
df = df.sort_index()  # sorting by index

# Append row to below it
df.loc[df.shape[0]] = [0 for n in range(len(df.columns))]
print(df)

   index Sent col_1 col_2 col_3
0      0    0     0     0     0
1      1   AB   NaN    DD    CC
2      1          0     1     0
3      2   SA    FA    FB   NaN
4      2          1     1   NaN
5      3   FF   Sha   NaN    PA
6      3          1     0     1
7      0    0     0     0     0

现在，使用shift 和masking by shift(-1) 和shift(1) 检查连续行：

columns = ["col_1", "col_2","col_3"]
for column in columns:
    df.loc[df[column].isnull() & df[column].shift(-1).notnull() &  df[column].shift(1).notnull(), column] = "F"
df = df [1:-1] # remove extra rows
print(df)

输出：

   index Sent col_1 col_2 col_3
1      1   AB     F    DD    CC
2      1          0     1     0
3      2   SA    FA    FB   NaN
4      2          1     1   NaN
5      3   FF   Sha     F    PA
6      3          1     0     1

如果您愿意，您也可以删除额外的 index 列，该列似乎有重复项。

更新（添加测试用的 .csv 数据）

我在测试csv文件中有关注。

index,Sent,col_1,col_2,col_3
1,AB,,DD,CC
1, ,0,1,0
2,SA,FA,FB,NA
2, ,1,1,NA
3,FF,Sha,,PA
3, ,1,0,1

然后，您可以使用以下内容创建输入dataframe：

import pandas as pd
df = pd.read_csv("FILENAME.csv")