将带有二维数组的列的熊猫数据框保存为python中的镶木地板文件

Question

我正在尝试使用 pd.to_parquet(df).df 将 pandas 数据框保存到镶木地板文件中，这是一个具有多列的数据框，其中一列在每一行中填充了 2d 数组。当我这样做时，我收到来自pyarrow 的错误，抱怨只支持一维数组。我用谷歌搜索，似乎没有解决方案。我只是想确认实际上没有解决方案，我必须以某种方式用一维数组表示我的二维数组。

Answer 1

pyarrow / parquet 有这个不存储二维数组的限制是正确的。

但是，parquet（和箭头）支持嵌套列表，您可以将二维数组表示为列表列表（或者在 python 中，数组数组或数组列表也可以）。因此，一种选择是将您的二维数组转换为这种格式。

此类嵌套列表/数组工作的示例：

In [2]: df = pd.DataFrame(
   ...:      {'a': [[np.array([1, 2, 3]), np.array([4, 5, 6])],
   ...:             [np.array([3, 4, 5]), np.array([6, 7, 8])]]})

In [3]: df.to_parquet('test_nested_list.parquet') 

In [4]: res = pd.read_parquet('test_nested_list.parquet')

In [5]: res['a']
Out[5]: 
0    [[1, 2, 3], [4, 5]]
1    [[1, 2], [3, 4, 5]]
Name: a, dtype: object

In [6]: res['a'].values
Out[6]: 
array([array([array([1, 2, 3]), array([4, 5, 6])], dtype=object),
       array([array([3, 4, 5]), array([6, 7, 8])], dtype=object)],
      dtype=object)