Pandas DataFrame 能否有效计算 PMI（逐点互信息）？

Question

尽管 Scikit-learn 等库提供了整体互信息的度量（通过直方图），但我环顾四周，令人惊讶地没有找到一个易于使用的框架或现有代码来计算 Pointwise Mutual Information (Wiki PMI) ）。这是在 Python 和 Pandas 的上下文中！

我的问题：

我有一个 DataFrame，每行包含一系列 [x,y] 示例，并希望根据公式（或更简单的公式）计算一系列 PMI 值：

PMI(x, y) = log( p(x,y) / p(x) * p(y) )

到目前为止，我的方法是：

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会给出有效和/或高效的计算吗？

示例 I/O：

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0

Answer 1

我会添加三个位。

def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

1. 应该使用df.groupby(x)[x].transform('count') 和df.groupby(y)[y].transform('count')，这样只有 计数已返回。
2. np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) 要使用的概率。
3. 处理数据帧的副本，而不是修改输入数据帧。

Answer 2

解决方案（也可以使用 SKlearn KDE 替代方案）：

请评论评论

from sklearn.neighbors.kde import KernelDensity

# pmi function 
def pmi_func(df, x, y):
    freq_x = df.groupby(x).transform('count')
    freq_y = df.groupby(y).transform('count')
    freq_x_y = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( len(df.index) *  (freq_x_y / (freq_x * freq_y)) )

# pmi with kernel density estimation    
def kernel_pmi_func(df, x, y):
    # reshape data
    x = np.array(df[x])
    y = np.array(df[y])
    x_y = np.stack((x, y), axis=-1)

    # kernel density estimation
    kde_x = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x[:, np.newaxis])
    kde_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(y[:, np.newaxis])
    kde_x_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x_y)

    # score
    p_x = pd.Series(np.exp(kde_x.score_samples(x[:, np.newaxis])))
    p_y = pd.Series(np.exp(kde_y.score_samples(y[:, np.newaxis])))
    p_x_y = pd.Series(np.exp(kde_x_y.score_samples(x_y)))   

    df['pmi'] = np.log( p_x_y / (p_x * p_y) )