【问题标题】:Filling missing value with word from list on condition根据条件用列表中的单词填充缺失值
【发布时间】:2017-12-11 17:24:04
【问题描述】:

我正在尝试预处理数据,尤其是处理缺失值。 我有一个单词列表和两列包含文本数据。如果列表中的单词至少在两个文本列之一中,我会用单词填充缺失

import pandas as pd
a=['coffee', 'milk', 'sugar']
test=pd.DataFrame({'col':['missing', 'missing', 'missing'],
                   'text1': ['i drink tea', 'i drink coffee', 'i drink whiskey'],
                   'text2': ['i drink juice', 'i drink nothing', 'i drink milk']
                   })

所以数据框看起来像,列“col”由于应用 fillna("missing") 而“缺失”

Out[19]: 
       col            text1            text2
0  missing      i drink tea    i drink juice
1  missing   i drink coffee  i drink nothing
2  missing  i drink whiskey     i drink milk

我想出了这样的代码应用循环

for word in a:
    test.loc[(test["col"]=='missing') & ((test["text1"].str.count(word)>0) 
    | (test['text2'].str.count(word)>0)), "col"]=word

列表“a”中有 100 000 行和 2000 个元素,完成这项工作大约需要 870 秒。 是否有任何解决方案可以使其更快地处理庞大的数据帧? 提前致谢

【问题讨论】:

  • 你在这里使用pandas吗?您可能想要删除一些此处不需要的标签并添加一个 - 寻找提供minimal reproducible example
  • 您指的是哪一列有缺失值?
  • 列“col”由于应用了 fillna("missing") 而出现“缺失”
  • 提供样本数据以获得帮助。看看其他人是怎么做的。

标签: python pandas missing-data


【解决方案1】:

一些建议:

  • 为什么使用.str.count 而不是.str.contains?
  • 为什么要fillna('missing')? pd.isnull(test["col"]) 会工作得更快test["col"]=='missing'
  • 您还可以使用测试来查看是否所有缺失的字段都已填写。

所以这可以归结为这样的事情:

def fill_missing(original_df, column_name, replacements, inplace=True):
    df = original_df if inplace else original_df.copy()
    for word in replacements:
        empty = pd.isnull(df[column_name])
        if not empty.any():
            return df
        contained = (df.loc[empty, "text1"].str.contains(word))  | (df.loc[empty, 'text2'].str.contains(word))
        df.loc[contained[contained].index, column_name] = word
    return df

【讨论】:

  • 将“计数”更改为“包含”有助于节省一些时间。我将重写我的代码以尝试 pd.isnull(test["col"])。谢谢
  • 再次感谢您!您的代码在处理问题方面做出了真正的改变,并且工作速度几乎快了 2 倍!!!
猜你喜欢
  • 2022-11-30
  • 2019-11-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-04-01
  • 1970-01-01
  • 2022-01-17
  • 1970-01-01
相关资源
最近更新 更多