【发布时间】:2020-08-29 18:51:33
【问题描述】:
我正在为我在相当大的数据集上使用的 iterrows 解决方案寻找更有效的解决方案。我正在使用此解决方案检查两列之间的差异,然后将差异输出到正确的产品类别。
我有一个看起来像这样的 df:
import pandas as pd
import numpy as np
data = [['Oct-2019', 'Oranges + Grapes + Pears', 'Grapes + Pears'],
['Nov-2019', 'Oranges + Grapes + Pears', 'Oranges + Grapes + Pears']]
df = pd.DataFrame(data, columns =['Date', 'Previous shopping list', 'Recent shopping list'])
print(df)
Fish = ['Salmon', 'Trout']
Fruit = ['Oranges', 'Grapes', 'Pears']
Date PSL RSL
0 Oct-2019 Oranges + Grapes Grapes + Pears
+ Pears + Salmon
1 Nov-2019 Oranges + Grapes Oranges + Grapes
+ Pears + Trout + Pears
其中预期的结果应该是:
Date PSL RSL Fruit lost Fish Lost
0 Oct-2019 Oranges + Grapes Grapes + Pears Oranges Salmon
+ Pears + Salmon
1 Nov-2019 Oranges + Grapes Oranges + Grapes Trout
+ Pears + Trout + Pears
我的解决方案运行良好,但速度非常慢。我想知道你们是否有更好的方法来获得我正在寻找的预期结果。
我目前查找 PSL 和 RSL 列之间差异的方法是:
def compare_items(x):
return set(x.PSL) - set(x.RSL)
df['Products_lost'] = df.apply(compare_items, axis=1)
这给了我一个如下所示的输出:
Date PSL RSL Products_lost
0 Oct-2019 Oranges + Grapes Grapes + Pears {Oranges, Salmon}
+ Pears + Salmon
1 Nov-2019 Oranges + Grapes Oranges + Grapes {Trout}
+ Pears + Trout + Pears
然后我使用下面的 iterrows 解决方案来检查我上面定义的产品类别列表,但它真的很慢:
#checking fruits
for idx, row in df.iterrows():
for c in Fruit:
if c in row['Products_lost']:
df.ix[idx, 'Fruit_lost'] = c
#checking fish
for idx, row in df.iterrows():
for c in Fish:
if c in row['Products_lost']:
df.ix[idx, 'Fish_lost'] = c
所有这些都给出了一个看起来像这样的最终 df:
Date PSL RSL Products_lost Fruit lost Fish Lost
0 Oct-2019 Oranges + Grapes Grapes + Pears {Oranges, Salmon} Oranges Salmon
+ Pears + Salmon
1 Nov-2019 Oranges + Grapes Oranges + Grapes {Trout} Trout
+ Pears + Trout + Pears
我一直在尝试使用 str.findall 作为检查“Products_lost”类别的更快和更快的替代方法,但我不断收到错误。到目前为止,我已经尝试了以下方法。
df['Fruit_lost']= df.Products_lost.str.findall('|'.join(Fruit)).apply(','.join)
df['Fruit_lost']= df.Products_lost.str.findall('|'.join(Fruit))
df['Fruit_lost']= df.Products_lost.apply(lambda x: x if x in Fruit else '')
如果“Products_lost”列中只有一个元素,则 findall 解决方案和 lambda 解决方案都会出错。
我认为我的问题与“Product_lost”列中的元素是一个集合有关,我尝试使用下面的代码进行转换以删除“{}”,但它似乎没有帮助。
df['Products_lost'] = df.apply(compare_items, axis=1).apply(','.join)
我认为对我来说最重要的是输出干净,因此在“Fruit_lost”或“Fish_lost”列中出现的元素周围没有“[]”或“{}”括号。
任何帮助将不胜感激!
亲切的问候,
【问题讨论】: