Pandas：如何删除具有单列不同值的重复项，同时保留所述不同值

Question

我看过这个question，但我无法理解它的含义。它与旋转数据框后将多个索引展平为单个索引有关。

我目前正在处理图像，并且我有一个包含重复行的数据框，但是，每个重复行都有不同的“主题”值。

目标：

我想删除这些重复的行，即使它们具有不同的值，并将所有重复项中的所有不同值合并到一个列中，即Aortic enlargement|Pulmonary fibrosis|Atelectasis。

问题：

这本质上是一个多部分的问题。

1. 我怎样才能达到上述目标？

2. 有人可以用蹩脚的语言解释我所链接的问题以完全理解它吗？

额外信息：

我有一个mock csv file，如果您需要完全理解我的意思，可以访问它。

Answer 1

将此数据框视为 MRE：

>>> df
                           image_id          class_name
0  47ed17dcb2cbeec15182ed335a8b5a9e         Nodule/Mass  # <- dup 1
1  47ed17dcb2cbeec15182ed335a8b5a9e  Aortic enlargement  # <- dup 1
2  47ed17dcb2cbeec15182ed335a8b5a9e  Pulmonary fibrosis  # <- dup 1
3  7c1add6833d5f0102b0d3619a1682a64        Lung Opacity  # <- dup 2
4  7c1add6833d5f0102b0d3619a1682a64  Pulmonary fibrosis  # <- dup 2
5  5550a493b1c4554da469a072fdfab974          No finding  # <- dup 3
6  5550a493b1c4554da469a072fdfab974          No finding  # <- dup 3

要获得预期结果，您需要按image_id 对行进行分组，并将来自class_name 的所有值连接在一起并用' | ' 分隔：

>>> df.groupby('image_id')['class_name'].apply(lambda x: ' | '.join(sorted(set(x))))

image_id
47ed17dcb2cbeec15182ed335a8b5a9e    Aortic enlargement | Nodule/Mass | Pulmonary f...
5550a493b1c4554da469a072fdfab974                                           No finding
7c1add6833d5f0102b0d3619a1682a64                    Lung Opacity | Pulmonary fibrosis

使用set 删除相同image_id 的class_name 重复项，并使用sorted 获得class_name 字典顺序。

更新

您可以使用MultiIndex 正确显示重复的行。试试：

>>> df.set_index(['image_id', 'class_name']).sort_index()

                                             class_id rad_id  x_min  y_min  x_max  y_max  width  height
image_id                         class_name
000434271f63a053c4128a0ba6352c7f No finding        14     R6    NaN    NaN    NaN    NaN   2336    2836
                                 No finding        14     R2    NaN    NaN    NaN    NaN   2336    2836
                                 No finding        14     R3    NaN    NaN    NaN    NaN   2336    2836
00053190460d56c53cc3e57321387478 No finding        14    R11    NaN    NaN    NaN    NaN   1994    2430
                                 No finding        14     R2    NaN    NaN    NaN    NaN   1994    2430
...                                               ...    ...    ...    ...    ...    ...    ...     ...
fff0f82159f9083f3dd1f8967fc54f6a No finding        14     R9    NaN    NaN    NaN    NaN   2048    2500
                                 No finding        14    R14    NaN    NaN    NaN    NaN   2048    2500
fff2025e3c1d6970a8a6ee0404ac6940 No finding        14     R1    NaN    NaN    NaN    NaN   1994    2150
                                 No finding        14     R5    NaN    NaN    NaN    NaN   1994    2150
                                 No finding        14     R2    NaN    NaN    NaN    NaN   1994    2150

[67914 rows x 8 columns]