【发布时间】:2015-04-25 03:20:51
【问题描述】:
我在 python 中有一个非常大的数据框,我想删除在特定列中具有特定字符串的所有行。
例如,我想在数据框的 C 列中删除所有具有字符串“XYZ”作为子字符串的行。
这可以使用 .drop() 方法以有效的方式实现吗?
【问题讨论】:
我在 python 中有一个非常大的数据框,我想删除在特定列中具有特定字符串的所有行。
例如,我想在数据框的 C 列中删除所有具有字符串“XYZ”作为子字符串的行。
这可以使用 .drop() 方法以有效的方式实现吗?
【问题讨论】:
pandas 有向量化的字符串操作,所以你可以过滤掉包含你不想要的字符串的行:
In [91]: df = pd.DataFrame(dict(A=[5,3,5,6], C=["foo","bar","fooXYZbar", "bat"]))
In [92]: df
Out[92]:
A C
0 5 foo
1 3 bar
2 5 fooXYZbar
3 6 bat
In [93]: df[~df.C.str.contains("XYZ")]
Out[93]:
A C
0 5 foo
1 3 bar
3 6 bat
【讨论】:
df[~df.C.str.contains("XYZ")]
TypeError: bad operand type for unary ~: 'float',关于这个问题有什么想法吗?
na=False解决的问题
如果您的字符串约束不只是一个字符串,您可以删除相应的行:
df = df[~df['your column'].isin(['list of strings'])]
以上内容将删除包含列表元素的所有行
【讨论】:
for string in list_of_strings, check if column contains it
这仅在您想比较确切的字符串时才有效。 如果您想检查列字符串是否包含列表中的任何字符串,它将不起作用。
与列表进行比较的正确方法是:
searchfor = ['john', 'doe']
df = df[~df.col.str.contains('|'.join(searchfor))]
【讨论】:
对代码稍作修改。 na=False 将跳过空值。否则你会得到一个错误TypeError: bad operand type for unary ~: float
df[~df.C.str.contains("XYZ", na=False)]
【讨论】:
new_df = df[df.C != 'XYZ']
参考:https://chrisalbon.com/python/data_wrangling/pandas_dropping_column_and_rows/
【讨论】:
以下代码将为您提供所有行的列表:-
df[df['C'] != 'XYZ']
将上述代码中的值存储到数据框中:-
newdf = df[df['C'] != 'XYZ']
【讨论】:
如果您不想删除所有 NaN,请使用
df[~df.C.str.contains("XYZ") == True]
【讨论】: