将 numpy 数组的 pandas 列转换为更高维的 numpy 数组

Question

我有一个形状为 (75,9) 的 pandas 数据框。

这些列中只有一个是 numpy 数组，每个数组的形状都是 (100, 4, 3)

我有一个奇怪的现象：

data = self.df[self.column_name].values[0]

形状为(100,4,3)，但是

data = self.df[self.column_name].values

形状为 (75,)，min 和 max '不是数字对象'

我预计 data = self.df[self.column_name].values 的形状（75、100、4、3），还有一些 min 和 max。

如何使一列 numpy 数组表现得像一个更高维度的 numpy 数组（长度=数据框中的行数）？

---

复制：

    some_df = pd.DataFrame(columns=['A'])
    for i in range(10):
        some_df.loc[i] = [np.random.rand(4, 6)]
    print some_df['A'].values.shape
    print some_df['A'].values[0].shape

打印(10L,),(4L,6L) 而不是所需的(10L, 4L, 6L),(4L,6L)

Answer 1

您所要求的不太可能。 Pandas DataFrames 是二维的。是的，您可以在 DataFrame 单元格中将 NumPy 数组存储为 objects（引用），但这并没有得到很好的支持，并且期望得到一个 shape，它有一个来自 DataFrame 的维度和两个来自内部数组的维度不是完全有可能。

您应该考虑将数据完全存储在适当形状的 NumPy 数组中，或者存储在具有 MultiIndex 的单个、适当的 2D DataFrame 中。例如，如果将额外的维度移动到行上的 MultIndex 的新级别，则可以将一维数组的列“旋转”成一列标量：

  A
x [2, 3]
y [5, 6]

变成：

    A
x 0 2
  1 3
y 0 5
  1 6

或转向列：

  A
  0 1
x 2 3
y 5 6

Answer 2

In [42]: some_df = pd.DataFrame(columns=['A']) 
    ...: for i in range(4): 
    ...:         some_df.loc[i] = [np.random.randint(0,10,(1,3))] 
    ...:                                                                                  
In [43]: some_df                                                                          
Out[43]: 
             A
0  [[7, 0, 9]]
1  [[3, 6, 8]]
2  [[9, 7, 6]]
3  [[1, 6, 3]]

该列的numpy值是一个object dtype数组，包含数组：

In [44]: some_df['A'].to_numpy()                                                          
Out[44]: 
array([array([[7, 0, 9]]), array([[3, 6, 8]]), array([[9, 7, 6]]),
       array([[1, 6, 3]])], dtype=object)

如果这些数组都具有相同的形状，stack 可以很好地将它们连接到一个新维度：

In [45]: np.stack(some_df['A'].to_numpy())                                                
Out[45]: 
array([[[7, 0, 9]],

       [[3, 6, 8]],

       [[9, 7, 6]],

       [[1, 6, 3]]])
In [46]: _.shape                                                                          
Out[46]: (4, 1, 3)

这仅适用于一列。 stack 像所有 concatenate 一样将输入参数视为可迭代的，实际上是数组列表。

In [48]: some_df['A'].to_list()                                                           
Out[48]: 
[array([[7, 0, 9]]),
 array([[3, 6, 8]]),
 array([[9, 7, 6]]),
 array([[1, 6, 3]])]
In [50]: np.stack(some_df['A'].to_list()).shape                                           
Out[50]: (4, 1, 3)