使用熊猫循环合并大量csv文件[重复]

Question

现在我正在创建一个程序，它将 csv 文件组合成一个不重复的类似列。创建的列需要添加到相邻列的旁边。

截至目前，我能够获取文件，但我无法确定一种方法来开发一种方法来迭代每个读取的 csv 数据帧，然后将所有这些数据帧合并在一起并推出一个.csv 文件。 现在我正在用三个带有公共 ID 列的 csv 文件来测试它 我现在的情况如下：

        os.chdir(filedname)
        data = pd.merge([pd.DataFrame.from_csv(file) for
              file in glob.glob("*.csv")],on='ID')
        data.to_csv('merged.csv')

文件如下所示：

(File 1)  (File 2)
ID  BLA   ID  X   
1   2     1   55
2   3     2   2
3   4     3   12
4   5     4   52

并且目录中每个csv文件中除了ID列之外的每个不同的列应该相互合并以创建一个csv文件，如下所示：

ID BLA X
1  2   55
2  3   2
3  4   12
4  5   52 

任何建议都可以帮助我解决这个问题。

Answer 1

简单示例：

# Demo DataFrames
df1 = pd.DataFrame([[1,2,3],[2,3,4],[3,1,3]], columns=['ID','BLA','X'])
df2 = pd.DataFrame([[1,2,3],[2,5,4],[3,10,100]], columns=['ID','X','BLA'])
df3 = pd.DataFrame([[1,2,3],[2,8,7],[3,0,0]], columns=['ID','BLA','D'])

# Demo DataFrames sequence
dfs = [df1,df2,df3]

# Merge DataFrames
df = pd.DataFrame(columns=['ID'])
for d in dfs:
    cols = [x for x in d.columns if x not in df.columns or x == 'ID']
    df = pd.merge(df, d[cols], on='ID', how='outer', suffixes=['',''])

# result
   ID  BLA  X  D
0   1    2  3  3
1   2    3  4  7
2   3    1  3  0

在你的情况下，它可能是这样的：

data = [pd.DataFrame.from_csv(f) for f in glob.glob("*.csv")]
df = pd.DataFrame(columns=['ID'])
for d in data:
    cols = [x for x in d.columns if x not in df.columns or x == 'ID']
    df = pd.merge(df, d[cols], on='ID', how='outer', suffixes=['',''])