如何将 MultiIndex Pandas 数据帧转换为 Dask 数据帧

Question

我正在尝试将基于两个变量（一个 ID 和一个 DateTime 变量）的 MultiIndexed 的 pandas 数据帧转换为 dask 数据帧，但是我收到以下错误；

"NotImplementedError: Dask does not support MultiIndex Dataframes" 

我正在使用以下代码

import pandas as pd
import dask.dataframe as dd

dask_df = dd.from_pandas(pandas_df)

实际上，我有超过 700 个 pandas 数据帧（每个超过 100 MB）我计划将每个 pandas 数据帧转换为 dask，然后将它们全部附加到一个大 dask 数据帧以分析整个数据。我认为 MultiIndex 是这里唯一的问题。如果我在这件事上走错了路，请告诉我。

Answer 1

目前 Dask DataFrame 不支持具有 MultiIndexes 的数据帧。

您可以考虑使用reset_index 将除一个索引列之外的所有索引列转换为普通列。