使用 pandas 处理重复数据

Question

大家好，我在使用 pandas python 库时遇到了一些问题。基本上我正在阅读 csv 使用 pandas 文件并希望删除重复项。我已经尝试了所有方法，问题仍然存在。

import sqlite3
import pandas as pd
import numpy
connection = sqlite3.connect("test.db")

## pandas dataframe
dataframe = pd.read_csv('Countries.csv')
##dataframe.head(3)

countries = dataframe.loc[:, ['Retailer country', 'Continent']] 

countries.head(6)

这个输出将是：

 Retailer country Continent
-----------------------------
0 United States    North America
1 Canada           North America
2 Japan                    Asia
3 Italy                   Europe
4 Canada           North America
5 United States    North America
6 France                  Europe

我希望能够根据来自的列删除重复值 上面的数据框，所以我会有来自每个国家和大陆的独特价值观 这样所需的输出将是：

 Retailer country Continent
-----------------------------
0 United States    North America
1 Canada           North America
2 Japan                    Asia
3 Italy                   Europe
4 France                  Europe

我尝试了那里提到的一些方法：Using pandas for duplicate values 并环顾网络并意识到我可以使用 df.drop_duplicates() 函数，但是当我使用下面的代码和 df.head(3) 函数时，它只显示一个排。我能做些什么来获得这些独特的行并最终遍历它们？

countries.head(4)
country = countries['Retailer country']
continent = countries['Continent']
df = pd.DataFrame({'a':[country], 'b':[continent]})
df.head(3)

Answer 1

似乎一个简单的分组可以解决您的问题。

import pandas as pd
na = 'North America'
a = 'Asia'
e = 'Europe'
df = pd.DataFrame({'Retailer': [0, 1, 2, 3, 4, 5, 6],
                   'country': ['Unitied States', 'Canada', 'Japan', 'Italy', 'Canada', 'Unitied States', 'France'],
                   'continent': [na, na, a, e, na, na, e]})

df.groupby(['country', 'continent']).agg('count').reset_index()

Retailer 列现在显示country、continent 组合出现的次数。您可以通过 `df = df[['country', 'continent']] 删除它。