删除带有字典的重复行

Question

我从json读取数据，其中一些是重复的，所以我想删除它们，请注意有2列（douban_info和omdb_info）仍然是json/dict格式

但是，如果我这样做pd_data.drop_duplicates(['douban_info'])（带有 json 内容的列），它会失败。

但如果我使用pd_data.drop_duplicates(['detail_url'])（常规专栏），它会起作用。

那么如何才能成功删除这些重复项？？

例外：

TypeError                                 Traceback (most recent call last)
<ipython-input-13-a0091f87b553> in <module>()
      1 pd_data.drop_duplicates(['detail_url']) # this works
----> 2 pd_data.drop_duplicates(['douban_info']) # this failed
      3 # pd_data2.describe()

...

TypeError: unhashable type: 'dict'

注意：data file 可以放在哪里？那你可以试试吗？

Answer 1

TypeError: unhashable type: 'dict' 表示您在尝试用于drop_duplicates 的列中有一个字典。

drop_duplicates 需要能够将列中的值相互比较，它通过散列来做到这一点，并且您不能将 dict 转换为散列。

因为只有当两个值相等时才能确定一行是否重复。

你需要做的就是把这个 dict 改成可散列的东西。也许是一个字符串。

pd_data['douban_info_string'] = pd_data['douban_info'].astype(str)
pd_data.drop_duplicates('douban_info_string')

应该可以。

不是很高效或漂亮，但应该可以。