Pandas 0.22.0 版 - drop_duplicates() 有一个意外的关键字参数“keep”答案

【问题标题】：Pandas version 0.22.0 - drop_duplicates() got an unexpected keyword argument 'keep'Pandas 0.22.0 版 - drop_duplicates() 有一个意外的关键字参数“keep”
【发布时间】：2019-11-02 17:07:46
【问题描述】：

我正在尝试使用 drop_duplicates(subset=[''], keep=False) 在我的数据框中删除重复项。显然它在我的 Jupyter Notebook 中工作正常，但是当我尝试通过终端作为 .py 文件执行时，我收到以下错误：

Traceback (most recent call last):
  File "/home/source/fork/PySpark_Analytics/Notebooks/Krish/beryllium_pandas.py", line 54, in <module>
    dffsamelname = dffsameflname.drop_duplicates(subset=['INDIVIDUAL_LASTNAME'], keep=False)

File "/var/webeng/opensource/aetna-anaconda/lib/python2.7/site-packages/pandas/util/decorators.py", line 88, in wrapper
    return func(*args, **kwargs)
TypeError: drop_duplicates() got an unexpected keyword argument 'keep'

检查 pandas 版本 >0.18，因为当时引入了 keep = false。

# Trying to drop both the records with same last name
dffsamelname = dffsameflname.drop_duplicates(subset=['INDIVIDUAL_LASTNAME'], keep=False)

我想删除正在删除的两个记录。因此 keep=false 是必要的。

如果我删除 keep=false，它就可以正常工作。

【问题讨论】：

print(pd.__version__)的输出是什么
@Erfan: 0.22.0 是这个

标签： python pandas python-2.7 dataframe

【解决方案1】：

您的对象可能不是原生 pandas 数据框，而是 pyspark 数据框。从这个http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.drop_duplicates 看来，子集似乎只是被接受的参数。你能添加你的导入和你创建数据框的行吗？

【讨论】：

在执行此操作之前，我已将数据框转换为Pandas()。
import pyspark from pyspark import SparkContext,SparkConf from pyspark.sql import HiveContext,SQLContext,functions from datetime import date, timedelta from pyspark.sql import Row from pyspark.sql.functions import col,explode from pyspark .sql import SparkSession import pandas as pd import numpy as np #设置Spark Session sqlSession = SparkSession\ .builder\ .appName("Beryllium Model")\ .enableHiveSupport()\ .config("hive.exec.dynamic.partition" , "true")\ .config("hive.exec.dynamic.partition.mode", "nonstrict")\ .getOrCreate()
只是检查您是否将 toPandas() 分配给某个东西，因为它不是就地函数