【问题标题】:Alternative to python/pandas iterrows solutionpython/pandas iterrows 解决方案的替代方案
【发布时间】:2020-08-29 18:51:33
【问题描述】:

我正在为我在相当大的数据集上使用的 iterrows 解决方案寻找更有效的解决方案。我正在使用此解决方案检查两列之间的差异,然后将差异输出到正确的产品类别。

我有一个看起来像这样的 df:

import pandas as pd
import numpy as np

data = [['Oct-2019', 'Oranges + Grapes + Pears', 'Grapes + Pears'],
       ['Nov-2019', 'Oranges + Grapes + Pears', 'Oranges + Grapes + Pears']]

df = pd.DataFrame(data, columns =['Date', 'Previous shopping list', 'Recent shopping list'])
print(df)

Fish = ['Salmon', 'Trout']
Fruit = ['Oranges', 'Grapes', 'Pears']

     Date     PSL                 RSL
0  Oct-2019   Oranges + Grapes    Grapes + Pears
              + Pears + Salmon                     

1  Nov-2019   Oranges + Grapes    Oranges + Grapes
              + Pears + Trout     + Pears  

其中预期的结果应该是:

     Date     PSL                 RSL               Fruit lost   Fish Lost
0  Oct-2019   Oranges + Grapes    Grapes + Pears    Oranges      Salmon
              + Pears + Salmon                     

1  Nov-2019   Oranges + Grapes    Oranges + Grapes               Trout
              + Pears + Trout     + Pears  

我的解决方案运行良好,但速度非常慢。我想知道你们是否有更好的方法来获得我正在寻找的预期结果。

我目前查找 PSL 和 RSL 列之间差异的方法是:

def compare_items(x):
    return set(x.PSL) - set(x.RSL)

df['Products_lost'] = df.apply(compare_items, axis=1)

这给了我一个如下所示的输出:

           Date     PSL                 RSL                Products_lost
    0  Oct-2019   Oranges + Grapes    Grapes + Pears     {Oranges, Salmon}
                  + Pears + Salmon                     

    1  Nov-2019   Oranges + Grapes    Oranges + Grapes   {Trout}
                  + Pears + Trout     + Pears  

然后我使用下面的 iterrows 解决方案来检查我上面定义的产品类别列表,但它真的很慢:

#checking fruits
for idx, row in df.iterrows():
    for c in Fruit: 
        if c in row['Products_lost']:
            df.ix[idx, 'Fruit_lost'] = c

#checking fish
for idx, row in df.iterrows():
    for c in Fish: 
        if c in row['Products_lost']:
            df.ix[idx, 'Fish_lost'] = c

所有这些都给出了一个看起来像这样的最终 df:

      Date     PSL                 RSL             Products_lost          Fruit lost   Fish Lost
0  Oct-2019   Oranges + Grapes    Grapes + Pears   {Oranges, Salmon}      Oranges      Salmon
              + Pears + Salmon                     

1  Nov-2019   Oranges + Grapes    Oranges + Grapes  {Trout}                            Trout
              + Pears + Trout     + Pears  

我一直在尝试使用 str.findall 作为检查“Products_lost”类别的更快和更快的替代方法,但我不断收到错误。到目前为止,我已经尝试了以下方法。

df['Fruit_lost']= df.Products_lost.str.findall('|'.join(Fruit)).apply(','.join)
df['Fruit_lost']= df.Products_lost.str.findall('|'.join(Fruit))
df['Fruit_lost']= df.Products_lost.apply(lambda x: x if x in Fruit else '')

如果“Products_lost”列中只有一个元素,则 findall 解决方案和 lambda 解决方案都会出错。

我认为我的问题与“Product_lost”列中的元素是一个集合有关,我尝试使用下面的代码进行转换以删除“{}”,但它似乎没有帮助。

df['Products_lost'] = df.apply(compare_items, axis=1).apply(','.join)

我认为对我来说最重要的是输出干净,因此在“Fruit_lost”或“Fish_lost”列中出现的元素周围没有“[]”或“{}”括号。

任何帮助将不胜感激!

亲切的问候,

【问题讨论】:

    标签: python pandas


    【解决方案1】:

    一种方法是使用列表推导并与set.symmetric_difference进行比较:

    df["Fruit Lost"] = [set(x).symmetric_difference(set(y))
                        for x,y in zip(df["PSL"].str.findall("|".join(Fruit)),
                                       df["RSL"].str.findall("|".join(Fruit)))]
    

    如果您的列中有nan,请先使用fillna:

    df["Fruit Lost"] = [set(x).symmetric_difference(set(y))
                        for x,y in zip(df["PSL"].fillna("").str.findall("|".join(Fruit)),
                                       df["RSL"].fillna("").str.findall("|".join(Fruit)))]
    
    print (df)
    
           Date                       PSL                       RSL Fruit Lost
    0  Oct-2019  Oranges + Grapes + Pears            Grapes + Pears  {Oranges}
    1  Nov-2019  Oranges + Grapes + Pears  Oranges + Grapes + Pears         {}
    

    【讨论】:

    • 我收到类型错误:'float' 对象不可迭代。感谢您的建议! =)
    • 您的PSL 或RSL 列中有nan?
    • 我的日期集中两列都有0个空白,但仍然有相同的错误。
    • 是的,还是同样的问题! =(
    • 嗯,我几乎可以肯定存在缺失值。 df["PSL"].isnull().sum() 和 df["RSL"].isnull().sum() 给出的数字是否大于 0?
    猜你喜欢
    • 2022-12-22
    • 2021-06-06
    • 2018-12-11
    • 2016-09-28
    • 1970-01-01
    • 2011-04-13
    • 2016-10-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多