熊猫连接失败

Question

我正在尝试根据以下内容连接数据帧。 2个csv文件：

df_a:https://www.dropbox.com/s/slcu7o7yyottujl/df_current.csv?dl=0

df_b:https://www.dropbox.com/s/laveuldraurdpu1/df_climatology.csv?dl=0

这两个具有相同的列数和名称。但是，当我这样做时：

pandas.concat([df_a, df_b])

我得到错误：

AssertionError: Number of manager items must equal union of block items
# manager items: 20, # tot_items: 21

如何解决这个问题？

Answer 1

这里的答案并没有解决我的问题，但this 的答案解决了。

问题是一个或两个 DataFrame 中的重复列。

这是一个重复的列修复（根据上面的答案）：

df = df.loc[:,~df.columns.duplicated()]

Answer 2

我认为如果满足以下两个条件就会出现这个错误：

1. 数据框有不同的列。 （即(df1.columns == df2.columns) 是False
2. 列具有重复值。

基本上，如果您 concat 具有列 [A,B,C] 和 [B,C,D] 的数据框，则可以为每个不同的列名制作一个系列。因此，如果我尝试加入第三个数据框[B,B,C]，它不知道要附加哪一列，并且最终得到的不同列比它认为需要的要少。

如果您的数据框是df1.columns == df2.columns，那么它无论如何都会起作用。所以你可以将[B,B,C] 加入[B,B,C]，但不能加入[C,B,B]，好像列是相同的，它可能只是使用整数索引或其他东西。

Answer 3

很遗憾，源文件已经不可用，因此我无法检查您的解决方案。在我的情况下，错误发生在：

1. 数据框有两列同名（我有 ID 和 id 列，然后我将它们转换为小写，因此它们变得相同）
2. 同名列的值类型不同

这是一个例子，它给了我有问题的错误：

df1 = pd.DataFrame(data=[
    ['a', 'b', 'id', 1],
    ['a', 'b', 'id', 2]
], columns=['A', 'B', 'id', 'id'])

df2 = pd.DataFrame(data=[
    ['b', 'c', 'id', 1],
    ['b', 'c', 'id', 2]
], columns=['B', 'C', 'id', 'id'])
pd.concat([df1, df2])
>>> AssertionError: Number of manager items must equal union of block items
 # manager items: 4, # tot_items: 5

删除/重命名其中一列可以使此代码正常工作。

Answer 4

您可以通过“手动”连接来解决此问题，在这种情况下您的

list_of_dfs = [df_a, df_b]

而不是运行

giant_concat_df = pd.concat(list_of_dfs,0)

您可以使用将所有数据框转换为字典列表，然后从这些列表中创建一个新数据框（与链合并）

from itertools import chain
list_of_dicts = [cur_df.T.to_dict().values() for cur_df in list_of_dfs]    
giant_concat_df = pd.DataFrame(list(chain(*list_of_dicts)))