创建一个熊猫数据透视表来计算项目一起出现在列表中的次数

Question

我正在尝试计算用户在同一会话中查看页面的次数。

我从一个列出 user_ids 和他们访问过的页面 slug 的数据框开始：

user_id page_view_page_slug
1       slug1
1       slug2
1       slug3
1       slug4
2       slug5
2       slug3
2       slug2
2       slug1

我希望得到的是一个数据透视表，计算 slugs 横截面的 user_ids

.	slug1	slug2	slug3	slug4	slug5
slug1	2	2	2	1	1
slug2	2	2	2	1	1
slug3	2	2	2	1	1
slug4	1	1	1	1	0
slug5	1	1	1	0	1

我意识到当我们看到 slug1 和 slug2 与 slug2 和 slug1 时，这将是相同的数据，但我想不出更好的方法。 到目前为止我已经做了一个listagg

def listagg(df, grouping_idx):
    return df.groupby(grouping_idx).agg(list)
new_df = listagg(df,'user_id')

返回：

          page_view_page_slug
user_id                                                   
1        [slug1, slug2, slug3, slug4]
2        [slug5, slug3, slug2, slug2]
7        [slug6, slug4, slug7]
9        [slug3, slug5, slug1]

但是我很难想到当项目一起出现在列表中时（尽管有顺序）以及如何存储它来计算循环。然后我也不知道如何以可旋转的格式获得它。

Answer 1

这是另一种使用 numpy 广播创建矩阵的方法，该矩阵通过将user_id 中的每个值与其他所有值进行比较而获得，然后从该矩阵创建一个新的数据帧，并将index 和columns 设置为@ 987654325@ 和level=0 上的sum 沿着axis=0 和axis=1 计算蛞蝓横截面的user_ids：

a = df['user_id'].values
i = list(df['page_view_page_slug'])

pd.DataFrame(a[:, None] == a, index=i, columns=i)\
   .sum(level=0).sum(level=0, axis=1).astype(int)

---

       slug1  slug2  slug3  slug4  slug5
slug1      2      2      2      1      1
slug2      2      2      2      1      1
slug3      2      2      2      1      1
slug4      1      1      1      1      0
slug5      1      1      1      0      1

Answer 2

让我们试试groupby 和reduce：

from functools import reduce

dfs = [pd.DataFrame(1, index=list(s), columns=list(s)) 
      for _, s in df.groupby('user_id')['page_view_page_slug']]
      
df_out = reduce(lambda x, y: x.add(y, fill_value=0), dfs).fillna(0).astype(int)

详情：

group user_id 上的数据框然后为page_view_page_slug 中的每个组每个user_id 创建一个邻接数据框，其索引和列对应于该组中的slugs。

>>> dfs

[       slug1  slug2  slug3  slug4
 slug1      1      1      1      1
 slug2      1      1      1      1
 slug3      1      1      1      1
 slug4      1      1      1      1,
        slug5  slug3  slug2  slug1
 slug5      1      1      1      1
 slug3      1      1      1      1
 slug2      1      1      1      1
 slug1      1      1      1      1]

现在reduce 上述邻接数据帧使用缩减函数DataFrame.add 和可选参数fill_value=0 来计算slugs 横截面的user_ids。

>>> df_out

       slug1  slug2  slug3  slug4  slug5
slug1      2      2      2      1      1
slug2      2      2      2      1      1
slug3      2      2      2      1      1
slug4      1      1      1      1      0
slug5      1      1      1      0      1

---

可选您可以将上述代码包装在一个函数中，如下所示：

def count():
    df_out = pd.DataFrame()
    for _, s in df.groupby('user_id')['page_view_page_slug']:
        df_out = df_out.add(
            pd.DataFrame(1, index=list(s), columns=list(s)), fill_value=0)

    return df_out.fillna(0).astype(int)

>>> count()

       slug1  slug2  slug3  slug4  slug5
slug1      2      2      2      1      1
slug2      2      2      2      1      1
slug3      2      2      2      1      1
slug4      1      1      1      1      0
slug5      1      1      1      0      1

Answer 3

让我们在 user_id 上使用 merge 和 pd.crosstab 的自联接来计数：

import pandas as pd
from io import StringIO

txt = StringIO("""user_id  page_view_page_slug
1       slug1
1       slug2
1       slug3
1       slug4
2       slug5
2       slug3
2       slug2
2       slug1""")

df = pd.read_csv(txt, sep='\s\s+')

dfm = df.merge(df, on='user_id')
df_out = pd.crosstab(dfm['page_view_page_slug_x'], dfm['page_view_page_slug_y'])

df_out

输出：

page_view_page_slug_y  slug1  slug2  slug3  slug4  slug5
page_view_page_slug_x                                   
slug1                      2      2      2      1      1
slug2                      2      2      2      1      1
slug3                      2      2      2      1      1
slug4                      1      1      1      1      0
slug5                      1      1      1      0      1

对于重复数据，我们试试：

dfi = df.assign(v_count=df.groupby(['user_id', 'page_view_page_slug']).cumcount())

#Let's filter some unnecessary joins with query
dfi = dfi.merge(dfi, on=['user_id'])\
         .query('page_view_page_slug_x != page_view_page_slug_y or page_view_page_slug_x == page_view_page_slug_y and v_count_x == v_count_y')

df_out = pd.crosstab(dfi['page_view_page_slug_x'], dfi['page_view_page_slug_y'])
df_out

输出：

page_view_page_slug_y  slug1  slug2  slug3  slug4  slug5
page_view_page_slug_x                                   
slug1                      3      3      3      2      1
slug2                      3      2      2      1      1
slug3                      3      2      2      1      1
slug4                      2      1      1      1      0
slug5                      1      1      1      0      1