Pandas：如何比较导入的 csv 文件的列以确保它们相同？

Question

我将大量数据拆分为 4 个 csv 文件。它们应该具有相同的列，并且每个文件都是前一个文件的延续。 我在 Pandas 中导入 4 个 CSV 文件，在合并它们之前，我想比较所有 4 个列以找出任何差异。

1. 如何使用 Pandas/Python 做到这一点？
2. 我使用合并还是追加？ csv1 涵盖 2001 年到 2004 年，csv2 涵盖 2005 年到 2007 年等等，只是按时间划分。

Answer 1

如果事先知道列名，您可以通过usecols 参数将它们显式传递给pd.read_csv。如果您的 csv 文件和预定义的列名之间的列名不匹配，将自动引发 ValueError。

要合并您的 csv 文件，您可以使用 pd.concat:

# define your column names
column_names = ["Col A", "Col B", "Col C", "Col D"]

# setup file paths
base_path = os.path.join("E:/","Datasets","Dataset01") # adopted your example here
file_names = ["file1.csv", "file2.csv", "file3.csv", "file4.csv"]
abs_paths = [os.path.join(base_path, file_name)
             for file_name in file_names]

dfs = pd.concat([pd.read_csv(abs_path, usecols=columns_names) 
                 for abs_path in abs_paths])

如果您想检查 csv 文件中的所有列是否相同，您可以在使用 nrows=0 时仅加载 csv 文件的标题：

cols = [pd.read_csv(abs_path, nrows=0).columns
        for abs_path in abs_paths]

cols_identical = [all(cols[0] == colx) for colx in cols[1:]]
all_cols_same = all(cols_identical) 

Answer 2

假设你有 df1,df2 与 csv1,csv2 相关

1. all(df1.columns == df2.columns)
2. pd.concat([df1, df2]) 

详情请查看concat。