保存到 Parquet 会在 Dask.dataframe 中引发错误

Question

执行操作时：Dask.dataframe.to_parquet(data)，如果通过Dask 以给定数量的分区读取data，并且您在删除一些列后尝试以镶木地板格式保存它，它会失败，例如以下错误：

FileNotFoundError: [Errno 2] No such file or directory: part.0.parquet'

有人遇到过同样的问题吗？

这是一个最小的示例 - 请注意方式 1 可以按预期工作，而方式 2 则不能：

import numpy as np
import pandas as pd
import dask.dataframe as dd

# -------------
# way 1 - works
# -------------
print('way 1 - start')
A = np.random.rand(200,300)
cols = np.arange(0, A.shape[1])
cols = [str(col) for col in cols]
df = pd.DataFrame(A, columns=cols)
ddf = dd.from_pandas(df, npartitions=11)

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 1 - end')

# ----------------------
# way 2 - does NOT work 
# ----------------------
print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 2 - end')

Answer 1

哦，太好了，由于overwrite=True 选项，您发现了一个错误。因此，当设置了overwrite=True 选项时会发生什么，dask 删除了路径，请参阅these lines。现在，在您的示例中，ddf 是惰性的，所以当需要写入数据时，dask 会尝试读取文件，但它们现在已经消失了。

因此一种解决方案是将新数据框保存到不同的路径，然后删除旧文件夹并将新数据框的文件夹移动到旧文件夹（一些选项是here）。

另一种选择是将ddf 加载到内存中（如果合适的话），然后使用您的代码：

print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# # compute and persist in memory (note do not use
# # .compute because the dataframe will turn into
# # pandas data frame
ddf = ddf.drop(cols[0:11], axis=1)
ddf = ddf.persist()
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
# print('way 2 - end')

附带说明，当您运行 ddf.drop(cols[0:11], axis=1) 时，如果您希望在数据框中更改它，则需要分配它：

ddf = ddf.drop(cols[0:11], axis=1)

更新：有一些相关讨论here