是否可以将巨大的 dask 数据框保存到镶木地板中？

Question

我有一个由 100,000 多行组成的数据框，每行有 100,000 列，总共有 10,000,000,000 个浮点值。

我之前已经设法在 csv（制表符分隔）文件中读取它们，并且我成功地将它们读取到具有 250GB RAM 的 50 核 Xeon 机器并尝试将其写为 .parq 目录比如：

huge.csv 中的浮点数保存为字符串，大小为 125GB。

import dask.dataframe as dd
filename = 'huge.csv'
df = dd.read_csv(filename, delimiter='\t', sample=500000000)
df.to_parquet('huge.parq')

它已经写信给huge.parq 将近一个星期了，目录是 14GB，看起来保存.to_parquet 的过程不会很快停止。

free -mh 显示仍有可用内存，但保存.parq 目录的时间非常慢：

$ free -mh
              total        used        free      shared  buff/cache   available
Mem:           251G         98G         52G         10M        101G        152G
Swap:          238G          0B        238G

问题是：

• 鉴于数据帧和机器的大小，将 dask 数据帧保存到 parquet 文件是否可行？

• dask 和 fastparquet 需要这么长时间来保存大量数据帧是否正常？

• 有什么方法可以估算保存 parquet 文件所需的时间吗？

Answer 1

正如上面 cmets 中所讨论的，.to_parquet() 没有理论上的理由不应该处理您的数据。但是，列的数量非常多，并且由于每个列都有相关的开销，因此该过程需要很长时间也就不足为奇了 - 这不是典型的用例。

听起来您的数据最好被视为数组而不是表格。有数组存储机制可以让您在每个维度上进行分块，例如zarr，它还允许进行各种压缩和预过滤操作，可以有效利用磁盘空间。 （HDF5 等其他格式也很适合此类任务）

如何存储 10k X 10k 数组的示例：

import dask.array as da
import zarr
arr = da.random.random(size=(10000, 10000), chunks=(1000, 1000))
z = zarr.open_array('z.zarr', shape=(10000, 10000), chunks=(1000, 1000), mode='w', dtype='float64')
arr.store(z)

现在 z.zarr/ 包含 100 个数据文件块。

在您的情况下，棘手的部分是读取数据，因为您事先不知道行数。你可以使用

df = dataframe.read_csv(..)
len(df)  # get length
z = zarr.open_arr(...)  # provide dtype, size and chunk appropriately
df.values.store(z)

或者用dask.delayed 包裹np.loadtxt 以放弃数据帧阶段可能更有效。