Python Append 在嵌套循环中生成的数据帧

Question

我的程序有两个for 循环。我在每个循环中生成一个 df 。我想附加这个结果。对于内部循环的每次迭代，都会生成 1 行 24 列的数据。对于外循环的每次迭代，它会生成 8 行 24 列的数据。我在以正确的方式追加时遇到问题，因此最终数据框有 8 行和 24 列。 我的代码：

biglist = []
# The actual code is bigger. Below is representation of it.
for i in range (x1,...,x8):
   tem_list = []
   for j in range ([y1,y2,y3],[y4,..]...[y22,y23,y24]):
       tem_df = pd.DataFrame({'y1':[value1],'y2':[value2],'y3':[value3]},index=i)
       tem_list.append(tem_df)
   biglist.append(tem_list)
# convert listss of lists in biglist to a simple list of dfs
biglist1 = [item for sublist in biglist for item in sublist]
df = pd.concat(biglist1)
print(df)

目前的输出：

# below is actual output of my dataframe: 
      Pmpp_loss Pmpp_delmt  ... Rsh_delmt Rsh_desen
s1    17.0326    42.5349  ...       NaN       NaN
s2        NaN        NaN  ...       NaN       NaN
s3        NaN        NaN  ...       NaN       NaN
s4        NaN        NaN  ...       NaN       NaN
s5        NaN        NaN  ...       NaN       NaN
s6        NaN        NaN  ...       NaN       NaN
s7        NaN        NaN  ...       NaN       NaN
s8        NaN        NaN  ...   92.1853 -0.444959

[8 rows x 192 columns]

在上面，8 行是正确的。但我得到了 192 列，而不是 24 列。在这里，24 列重复了 8 次。这就是我们在这里看到许多 NaN 的原因。

Answer 1

试试：

• 将此biglist.append(tem_list) 更改为：biglist.append(pd.concat(tem_list))。

• 删除此行：biglist1 = [item for sublist in biglist for item in sublist]

• 把这个df = pd.concat(biglist1)修改成df = pd.concat(biglist)

---

如果你已经定义了列名，你也可以在你的循环范围之外创建一个空的DataFrame，并从你的内部循环中直接将数据附加到它上面：

# Before loop
colnames = ['y1', 'y2', 'y3']
df = pd.DataFrame(data=None, columns=colnames)

将附加行更改为内部循环中的单个行：

df = df.append(tem_df)

不需要使用biglist、tem_list 或pd.concat。

---

用户 cmets 后编辑：

biglist = []
for i in range (x1,...,x8):
    for j in range ([y1,y2,y3],[y4,..]...[y22,y23,y24]):
        tem_df = pd.DataFrame({'y1':[value1],'y2':[value2],'y3':[value3]},index=i)
    biglist.append(pd.concat(tem_df),axis=1)
df = pd.concat(biglist)
print(df)