从熊猫数据框中删除相似的行

Question

刚接触数据科学，想从事一个简单的项目（使用 Jupyter Notebook 和 Python 3.7）。基本上我想用 NLP 来查找美国电视节目前 50 名中最常见的短语。然而，我遇到了一个障碍。我拥有的数据集将节目的季节存储为单独的条目。例如，我有一些看起来像这样的东西：

• 南方公园第 14 季
• 合家欢第三季
• 南方公园第 10 季
• 南方公园第 11 季
• 南方公园第 13 季
• 合家欢第 1 季
• 生活大爆炸第 8 季

我对前 50 个独特节目感兴趣。有没有办法过滤或删除 Pandas DataFrame 中的类似条目？可以保留第一个条目但删除所有其他条目的东西？ （我计划从每个节目中收集每一集的成绩单，因此只要删除类似条目以为其他独特条目腾出空间，电视节目的第一个实例就无关紧要了）。

我正在尝试找出可以返回这个的东西（基于上面的示例）：

• 南方公园第 14 季
• 合家欢第三季
• 生活大爆炸第 8 季

不幸的是，我是一个新手，不知道从哪里开始，无论是正则表达式、字符串切片等。

感谢您的帮助！

Answer 1

您似乎有一个标准的命名约定，因此您可以在此处使用正则表达式根据特定季节之前的文本删除重复项。

设置

df = pd.DataFrame({'show': {0: 'South Park Season 14',
  1: 'Family Guy Season 3',
  2: 'South Park Season 10',
  3: 'South Park Season 11',
  4: 'South Park Season 13',
  5: 'Family Guy Season 1',
  6: 'The Big Bang Theory Season 8'}})

---

str.extract + drop_duplicates:

df.loc[
  df.show.str.extract(r'(.*)\s?Season').drop_duplicates().index
]

                           show
0          South Park Season 14
1           Family Guy Season 3
6  The Big Bang Theory Season 8

如果您只想要节目名称，而不是具体的季节，那就更简单了：

 df.show.str.extract(r'(.*)\s?Season').drop_duplicates()

                     0
0           South Park
1           Family Guy
6  The Big Bang Theory