为什么熊猫会在 NaN 上合并？

Question

我最近问了一个关于熊猫here 中缺失值的问题，并被定向到github issue。阅读完该页面和missing data documentation。

我想知道为什么 merge 和 join 在“它们不比较相等”时将 NaN 视为匹配：np.nan != np.nan

# merge example
df = pd.DataFrame({'col1':[np.nan, 'match'], 'col2':[1,2]})
df2 = pd.DataFrame({'col1':[np.nan, 'no match'], 'col3':[3,4]})
pd.merge(df,df2, on='col1')

    col1    col2    col3
0   NaN      1       3

# join example with same dataframes from above
df.set_index('col1').join(df2.set_index('col1'))

      col2  col3
col1        
NaN     1   3.0
match   2   NaN

但是，groupby 中的 NaN 被排除在外：

df = pd.DataFrame({'col1':[np.nan, 'match', np.nan], 'col2':[1,2,1]})
df.groupby('col1').sum()

       col2
col1    
match   2

当然你可以dropna() 或df[df['col1'].notnull()] 但我很好奇为什么NaNs 被排除在像groupby 这样的一些pandas 操作中而不是像merge、join、update 和@ 这样的其他操作中987654336@?

基本上，正如我上面所问的，为什么 merge 和 join 在比较不相等时匹配 np.nan？

Answer 1

是的，这绝对是一个错误。请参阅GH22491，它准确记录了您的问题，GH22618 指出，None 也观察到了该问题。根据讨论，这似乎不是预期的行为。

快速源代码分析表明问题 *可能* 存在于 pandas/core/reshape/merge.py 中的 _factorize_keys 函数中。此函数似乎对键进行因式分解以确定要相互匹配的行。

具体来说，这部分

# NA group
lmask = llab == -1
lany = lmask.any()
rmask = rlab == -1
rany = rmask.any()

if lany or rany:
    if lany:
        np.putmask(llab, lmask, count)
    if rany:
        np.putmask(rlab, rmask, count)
    count += 1

...似乎是罪魁祸首。 NaN 键被识别为有效类别（类别值等于 count）。

免责声明：我不是熊猫开发者，这只是我的猜测；所以真正的问题可能是别的。但乍一看，好像是这样的。