在 Pandas DataFrame 多行标题中标记空值

Question

我有一个名为 mrh.csv 的 CSV 文件，其中前两行代表标题：

Name,Height,Age
"",Metres,""
A,-1,25
B,95,-1

我正在使用以下代码将其读入 DataFrame：

import pandas as pd
pd.read_csv('mrh.csv', header=[0,1], na_values=[-1,''])

这会产生一个包含以下内容的数据框：

    Name                Height  Age
    Unnamed: 0_level_1  Metres  Unnamed: 2_level_1

0   A                   NaN     25.0
1   B                   95.0    NaN

使用 read_csv 的 na_values 参数，我可以在文件中将缺失值标记为 -1，但缺失的标题行值在标记为“”（我也尝试过 -1）时显示为 未命名： x_level_y（如果使用它，则为 -1）。

有没有办法不显示缺失值 - 删除 Unnamed: x_level_y 或用有意义的值替换它？

所需的输出 1：

    Name  Height  Age
          Metres    

0   A     NaN     25.0
1   B     95.0    NaN

所需的输出 2：

    Name  Height  Age
    -     Metres  - 

0   A     NaN     25.0
1   B     95.0    NaN

Answer 1

您可以创建新的 MultiIndex 并分配给columns：

df = pd.read_csv('mrh.csv', header=[0,1], na_values=[-1,''])

a = df.columns.get_level_values(level=0)
b = df.columns.get_level_values(level=1).str.replace('Un.*','')
df.columns = [a, b]
print (df)
  Name Height   Age
       Metres      
0    A    NaN  25.0
1    B   95.0   NaN

或者：

a = df.columns.get_level_values(level=0)
b = df.columns.get_level_values(level=1).str.replace('Un.*','-')
df.columns = [a, b]
print (df)
  Name Height   Age
     - Metres     -
0    A    NaN  25.0
1    B   95.0   NaN

Answer 2

我认为使用 read_csv 是不可能的，您可以在加载后修改索引：

from io import StringIO

txt = '''Name,Height,Age
"",Metres,""
A,-1,25
B,95,-1'''

df = pd.read_csv(StringIO(txt),header=[0,1],na_values=['-1',''])

df.columns = df.columns.set_levels(df.columns.get_level_values(level=1).str.replace('Un.*',''),level=1)
df.columns = df.columns.set_levels(df.columns.get_level_values(level=1).str.replace('Un.*',''),level=1)

输出：

   Name Height   Age
        Metres      
0    A    NaN  25.0
1    B   95.0   NaN

要知道分配 df.columns 两次，您可以查看here。还是很神秘的

编辑，set_levels 仍然有问题，您可以使用：

df.columns = df.columns.set_levels(df.columns.levels[1].str.replace('Un.*', ''), level=1)

Answer 3

import pandas as pd
pd.read_csv("mrh.csv").fillna("-").to_csv("mrh.csv",index=None)
df1 = pd.read_csv("mrh.csv",header=[0,1],na_values=[-1,''])
df1

输出：

   Name Height  Age
   -    Metres  -
0   A   NaN    25.0
1   B   95     NaN