在 Pandas 中计算具有重复校验和的文件

Question

我想计算不同文件夹中的重复文件。这些文件具有不同的名称，因此我使用每个文件的校验和来跟踪重复项。这是样本数据

import pandas as pd

df = pd.DataFrame({
    'folder': ['d1', 'd1', 'd1', 'd2', 'd2', 'd2', 'd2', 'd2'],
    'checksum': ['x0', 'x1', 'x1', 'x1', 'x2', 'x2', 'x2', 'x3']})

df.head(10)

folder  checksum
d1      x0
d1      x1
d1      x1
d2      x1
d2      x2
d2      x2
d2      x2
d2      x3

这是我的解决方案，但我不喜欢它，因为它太长了。有谁知道使用Pandas.pivot_table 或Pandas.crosstab 之类的更好的方法来获得相同的结果？谢谢

def count_duplicated_checksum_among_folders(df):
    folders = df.folder.unique()
    result = []
    for fol1 in folders:
        row = []
        selected1 = df[(df.folder == fol1 ) & df.checksum.duplicated(keep=False)]
        dup_checksum = selected1.checksum.unique()
        for fol2 in folders:
            if fol1 == fol2 :
                total_dup = selected1.checksum.duplicated(keep=False).sum()
                row.append(total_dup)            
            else:
                selected2 = df[(df.folder == fol2) & df.checksum.isin(dup_checksum)]
                total_dup = selected2.checksum.unique().size
                row.append(total_dup)        
        result.append(row)
    return pd.DataFrame(result, columns=folders, index=folders)

预期输出

output = count_duplicated_checksum_among_folders(df)

    d1  d2
d1  2   1
d2  1   3

由于本例中有 2 个文件夹，因此预期输出为 2x2 矩阵

[[A, B]
 [C, D]]

A = total duplicates within folder d1
D = total duplicates within folder d2 
B = C = total duplicates that exist in both folders d1 and d2

理想的解决方案必须能够处理任意数量的文件夹。这是另一个包含 5 个文件夹的数据集。预期的答案也在下面给出。

folder = 'd1 d1 d1 d2 d2 d2 d2 d2 d3 d3 d1 d4 d1 d5'.split()
checksum = 'x0 x1 x1 x1 x2 x2 x2 x3 x4 x4 x4 x5 x5 x6'.split()
df2 = pd.DataFrame(dict(folder=folder, checksum=checksum))

    d1  d2  d3  d4  d5
d1  2   1   1   1   0
d2  1   3   0   0   0
d3  1   0   2   0   0
d4  1   0   0   0   0
d5  0   0   0   0   0

Answer 1

将DataFrame.merge 与DataFrame.pivot_table 和Series.nunique 一起使用：

df1 = (df.merge(df, on='checksum')
         .pivot_table(index='folder_x',
                     columns='folder_y', 
                     values='checksum', 
                     aggfunc='nunique',
                     fill_value=0)
         .rename_axis(index=None, columns=None))
print (df1)
    d1  d2  d3  d4  d5
d1   4   1   1   1   0
d2   1   3   0   0   0
d3   1   0   1   0   0
d4   1   0   0   1   0
d5   0   0   0   0   1

然后按每个folder 的总重复值数量按数量设置对角线：

s = (df[df.duplicated(['checksum','folder'], keep=False)]
      .groupby('folder')
      .size()
      .reindex(df['folder'].unique(), fill_value=0))
print (s)
folder
d1    2
d2    3
d3    2
d4    0
d5    0
dtype: int64

#https://stackoverflow.com/a/24475214/2901002
np.fill_diagonal(df1.values, s)
print (df1)
    d1  d2  d3  d4  d5
d1   2   1   1   1   0
d2   1   3   0   0   0
d3   1   0   2   0   0
d4   1   0   0   0   0
d5   0   0   0   0   0

验证：

output = count_duplicated_checksum_among_folders(df)
print (output)
    d1  d2  d3  d4  d5
d1   2   1   1   1   0
d2   1   3   0   0   0
d3   1   0   2   0   0
d4   1   0   0   0   0
d5   0   0   0   0   0

Answer 2

如果您想使用上述数据框检查重复项以及哪个文件重复，您可以使用groupby。

In [2]:
df.groupby(df.columns.tolist(),as_index=False).size()

Out[2]:
folder  checksum
d1      x0          1
        x1          2
d2      x1          1
        x2          3
        x3          1
dtype: int64

上面的代码基于所有列创建一个组，在您的情况下为folder 和checksum，然后计算该组中每个不同值的计数。这将表明x1 校验和在d1 中是两次，在d2 中是x2 三次。

更新 2：

如果您需要计数，那么：

counter=df.groupby(df.columns.tolist(),as_index=False).size().unstack(fill_value=0)
counter_left=counter.ge(2,axis=0).dot(counter.T)
counter_right=counter.dot(counter.ge(2,axis=1).T)

#Now we merger left and right.
final=counter_left.add(counter.right) 
#and divide left diagonal element by 2
for diag in final:
    final.loc[diag,diag]//=2
print(final)

输出：

folder  d1  d2
folder        
d1       2   1
d2       1   3

在counter_left 中，我首先使用counter.ge(2,axis=0) 找到了所有重复文件，其输出：

checksum     x0     x1     x2     x3
folder                              
d1        False   True  False  False
d2        False  False   True  False

然后用counter.T 进行点积得到输出：

folder  d1  d2
folder        
d1       2   1
d2       0   3

对 column_right 执行相同操作并将它们合并得到最终输出。

Answer 3

试试：

df=df.assign(i=1).pivot_table(columns="folder", index="checksum", aggfunc="sum", values="i").fillna(0)

l=df.gt(1).T@df

r=df.T@df.gt(1)

res=pd.DataFrame([], columns=df.columns, index=df.columns)

res[:]=l+r

for col in res:
    res.loc[col, col]//=2

输出：

folder  d1  d2
folder
d1       2   1
d2       1   3