如何使用 Pandas 在标题中的行中使用更多分隔符读取 csv 文件？

Question

我想使用 Pandas 的 read_csv 函数读取一个 csv 文件，该文件在标题中的行中有更多分隔符。 Pandas 认为第一列是多索引的。 “NAME”列可以有任意数量的分隔符，受影响的列可以是任何一个（我们不知道哪一个受到影响），甚至不止一个。

我尝试调整 read_csv 的关键字参数，但没有成功。我正在使用 Python 3.7.0 和 Pandas 0.25.0。但是，Excel 可以正确读取文件。

import pandas

with open('test.csv', mode='w') as csv_file:
    csv_file.write('A,NAME,B\n')
    csv_file.write('a, Peter, Parker, b\n')

df = pandas.read_csv('test.csv', header=0, delimiter=',')
print(df)

预期输出：

   A            NAME   B
0  a   Peter, Parker   b

实际输出：

    A     NAME   B
a   Peter   Parker   b

其他例子：

import pandas

with open('test.csv', mode='w') as csv_file:
    csv_file.write('A,NAME,B,PLACE\n')
    csv_file.write('a, Peter, Parker, b, Queens, New York City\n')

df = pandas.read_csv('test.csv', header=0, delimiter=',')
print(df)

预期输出：

   A            NAME   B                 PLACE
0  a   Peter, Parker   b Queens, New York City

实际输出：

                A NAME        B           PLACE
a  Peter   Parker    b   Queens   New York City

Answer 1

不是这样的

df = pandas.read_csv('test.csv', header=0, delimiter=',')
df = df.reset_index()
df["NAME"] = df["A"] + ", " + df["NAME"]
df["A"] = df["Unnamed: 0"]
df = df.drop("Unnamed: 0", axis=1)

可能吗？它没有完全回答这个问题，但可以为您的 df 解决问题。

编辑：另一种可能性，如果文件也有 .xls/.xlsx 格式，pd.read_excel("name.xls") 应该可以解决您的问题

Answer 2

解决方法：

with open('test.csv', mode='w') as csv_file:  
    csv_file.write('A,NAME,B\n')  
    csv_file.write('a, Peter, Parker, b\n')  
    csv_file.write('aa, John, Lee, Mary, bb\n')            

df=pd.DataFrame(columns=["A","NAMES","B"])                                                                           

with open("test.csv") as ff:  
   for line in ff:  
       A,N= line.split(",",maxsplit=1)  
       N,B= N.rsplit(",",maxsplit=1)  
       df.loc[len(df.index)]= [A.strip(),N.strip(),B.strip()] 

df.drop(0,axis="index")

    A            NAMES   B
1   a    Peter, Parker   b
2  aa  John, Lee, Mary  bb

Answer 3

# Read first line as a list using ',' as delimiter
with open('test.csv', 'r') as f:
  header = f.readline().replace('\n', '').split(',')
# Read file skipping first line (header) using two character delimiter ', '
df = pandas.read_csv('test.csv', skiprows = 1, header = None, delimiter=', ', engine = 'python')
header = header + ["missing-column"] # In your example file header has only 3 columns but data has 4
# Assign header list as dataframe columns names
df.columns = header
print(df)