Dask groupby 申请行为怪异

Question

我正在尝试为这个测试示例运行 groupby apply in dask

import pandas as pd
import dask.dataframe as dd
tdf = pd.DataFrame({'a': [1, 2, 3, 4, 5, 6, 7, 8, 9],
               'b': [4, 5, 6, 3, 2, 1, 0, 0, 0]},
              index=[0, 1, 3, 5, 6, 8, 9, 9, 9])
ddf = dd.from_pandas(tdf, npartitions=3)

def func(df):
    df['b'] = df.b - df.b.mean()
    return df

meta = tdf.groupby('a').apply(func)
rddf = ddf.groupby('a').apply(func,meta=tmeta).compute()

我在 windows 上的 jupyter notebook anaconda python_version = 3.6 中执行此代码，我收到错误 'ValueError: cannot reindex from a duplicate axis' 并且只重复执行代码的rddf部分，我得到了

a   b
6   5   0.0
9   9   0.0
0   1   0.0
1   2   0.0
8   6   0.0
9   7   0.0
9   8   0.0
3   3   0.0
5   4   0.0

为什么会这样，相同的代码，不同的结果？

Answer 1

使用 df.copy() 能够得到预期的结果，但仍然不知道是什么导致了问题

import pandas as pd
import dask.dataframe as dd
import dask
tdf = pd.DataFrame({'a': [1, 2, 3, 4, 5, 6, 7, 8, 9],
               'b': [4, 5, 6, 3, 2, 1, 0, 0, 0]},
              index=[0, 1, 3, 5, 6, 8, 9, 9, 9])
ddf = dd.from_pandas(tdf, npartitions=3)
def func(df):
   df = df.copy()
   df['b'] = df.b - df.b.mean()
   return df
meta = tdf.groupby('a').apply(func)
rddf = ddf.groupby('a').apply(func,meta=meta).compute()

元是

        a   b
a           
1   0   1   0.0
2   1   2   0.0
3   3   3   0.0
4   5   4   0.0
5   6   5   0.0
6   8   6   0.0
7   9   7   0.0
8   9   8   0.0
9   9   9   0.0

rddf 是

       a    b
a           
5   6   5   0.0
9   9   9   0.0
1   0   1   0.0
2   1   2   0.0
6   8   6   0.0
7   9   7   0.0
8   9   8   0.0
3   3   3   0.0
4   5   4   0.0

Answer 2

我认为您需要 reset_index 和参数 drop=True 以获得唯一索引：

tdf = tdf.reset_index(drop=True)

然后获取所有0 值，因为groupby by a 长度为1 - 所以b 值与means 相同。

如果更改a的值：

import pandas as pd
import dask.dataframe as dd
tdf = pd.DataFrame({'a': [1, 1, 3, 4, 5, 6, 7, 8, 9], # double 1
               'b': [4, 5, 6, 3, 2, 1, 0, 0, 0]},
              index=[0, 1, 3, 5, 6, 8, 9, 9, 9])

tdf = tdf.reset_index(drop=True)

ddf = dd.from_pandas(tdf, npartitions=3)

---

def func(df):
    df['b'] = df.b - df.b.mean()
    return df

meta = tdf.groupby('a').apply(func)
rddf = ddf.groupby('a').apply(func).compute()
print (meta)
   a    b
0  1 -0.5
1  1  0.5
2  3  0.0
3  4  0.0
4  5  0.0
5  6  0.0
6  7  0.0
7  8  0.0
8  9  0.0

print (rddf)
   a    b
4  5  0.0
8  9  0.0
5  6  0.0
6  7  0.0
7  8  0.0
0  1 -0.5
1  1  0.5
3  4  0.0
2  3  0.0

对于相同的输出排序索引：

print (rddf.sort_index())
   a    b
0  1 -0.5
1  1  0.5
2  3  0.0
3  4  0.0
4  5  0.0
5  6  0.0
6  7  0.0
7  8  0.0
8  9  0.0