如何将 scipy 稀疏矩阵保存到镶木地板文件中

Question

我正在尝试重现最近 article 在 Netflix 的产品 Vectorflow 上提到的设置。

他们使用 Hive 中的 parquet 文件作为数据源。我想用 scipy 的稀疏矩阵生成一些假数据。如何将这样的矩阵保存到 parquet 文件中？

Answer 1

您可以使用 Apache Arrow（Python 包名称为 pyarrow）编写 Parquet 文件：https://arrow.apache.org/docs/python/parquet.html

有一些方便的函数可以存储pandas.DataFrames，对于scipy稀疏矩阵，你可以使用其中的一些但需要稍微调整一下。

使用 Apache Parquet 的重要一点是它是一种列式、类似表格的格式，即它需要一个数组字典。您必须以这种形式携带您的矩阵。这在一定程度上取决于 Vectorflow 对数据的预期。