【发布时间】:2019-03-04 22:59:39
【问题描述】:
我有几百万行数据框,以及我需要从中选择的有趣部分的列表。我正在寻找一种高效(读作:最快)的方法来做到这一点。
我知道我能做到:
slices = [slice(0,10), slice(20,50), slice(1000,5000)]
for slice in slices:
df.loc[slice, 'somecolumn'] = True
...但这似乎是一种完成工作的低效方式。 真的很慢。
这似乎比上面的 for 循环更快,但我不确定这是否是最好的方法:
from itertools import chain
ranges = chain.from_iterable(slices)
df.loc[ranges, 'somecolumns'] = True
这也不起作用,尽管它似乎应该这样做:
df.loc[slices, 'somecolumns'] = True
TypeError: unhashable type: 'slice'
我最关心的是性能。由于我正在处理的数据帧的大小,我需要尽我所能。
【问题讨论】:
标签: python pandas performance dataframe indexing