ValueError：无法从重复的轴 pd.concat 重新索引

Question

我正在尝试连接熊猫数据框：

def extract_articles(data, article_numbers):
  result = pd.concat(
     [
        data[data['ARTICLENO'] == article_no]['QUANTITY']
        for article_no in article_numbers
     ],
     axis=1,
  ).fillna(0)
  result.columns = article_numbers
  return result

从 csv 读取更多行（大约 100k）时，我收到以下错误： ValueError：无法从重复的轴重新索引

这是我的 csv 的基本外观：

Date,       ArticleNo, Quantity
2018-07-15, 1005,      150
2018-07-14, 1005,      165
2018-07-12, 1005,      160
2018-07-14, 1008,      230
2018-07-12, 1008,      245

文件按文章编号和日期排序。对于每个日期，可能有多个“文章编号-数量-元组”。有些文章编号可能没有数据，它们为 0。 为什么会出现这个错误？

Answer 1

我认为有重复的索引值，你可以改变：

data[data['ARTICLENO'] == article_no]['QUANTITY']

到

(data.loc[data['ARTICLENO'] == article_no, ['QUANTITY']]
      .set_index(data.groupby('Date').cumcount(), append=True))

为MultiIndex。

但是对于您的预期输出，需要聚合 sum 并通过 unstack 重塑：

df = df.groupby(['Date','ArticleNo'])['Quantity'].sum().unstack(fill_value=0)
print (df)
ArticleNo   1005  1008
Date                  
2018-07-12   160   245
2018-07-14   165   230
2018-07-15   150     0