【发布时间】:2017-12-11 17:24:04
【问题描述】:
我正在尝试预处理数据,尤其是处理缺失值。 我有一个单词列表和两列包含文本数据。如果列表中的单词至少在两个文本列之一中,我会用单词填充缺失
import pandas as pd
a=['coffee', 'milk', 'sugar']
test=pd.DataFrame({'col':['missing', 'missing', 'missing'],
'text1': ['i drink tea', 'i drink coffee', 'i drink whiskey'],
'text2': ['i drink juice', 'i drink nothing', 'i drink milk']
})
所以数据框看起来像,列“col”由于应用 fillna("missing") 而“缺失”
Out[19]:
col text1 text2
0 missing i drink tea i drink juice
1 missing i drink coffee i drink nothing
2 missing i drink whiskey i drink milk
我想出了这样的代码应用循环
for word in a:
test.loc[(test["col"]=='missing') & ((test["text1"].str.count(word)>0)
| (test['text2'].str.count(word)>0)), "col"]=word
列表“a”中有 100 000 行和 2000 个元素,完成这项工作大约需要 870 秒。 是否有任何解决方案可以使其更快地处理庞大的数据帧? 提前致谢
【问题讨论】:
-
你在这里使用
pandas吗?您可能想要删除一些此处不需要的标签并添加一个 - 寻找提供minimal reproducible example -
您指的是哪一列有缺失值?
-
列“col”由于应用了 fillna("missing") 而出现“缺失”
-
提供样本数据以获得帮助。看看其他人是怎么做的。
标签: python pandas missing-data