【问题标题】:Get rows from a DataFrame by using a list of slices使用切片列表从 DataFrame 中获取行
【发布时间】:2019-03-04 22:59:39
【问题描述】:

我有几百万行数据框,以及我需要从中选择的有趣部分的列表。我正在寻找一种高效(读作:最快)的方法来做到这一点。

我知道我能做到:

slices = [slice(0,10), slice(20,50), slice(1000,5000)]
for slice in slices:
  df.loc[slice, 'somecolumn'] = True

...但这似乎是一种完成工作的低效方式。 真的很慢。

这似乎比上面的 for 循环更快,但我不确定这是否是最好的方法:

from itertools import chain
ranges = chain.from_iterable(slices)
df.loc[ranges, 'somecolumns'] = True

这也不起作用,尽管它似乎应该这样做:

df.loc[slices, 'somecolumns'] = True

TypeError: unhashable type: 'slice'

我最关心的是性能。由于我正在处理的数据帧的大小,我需要尽我所能。

【问题讨论】:

    标签: python pandas performance dataframe indexing


    【解决方案1】:

    熊猫

    你可以尝试几个技巧:

    1. 使用np.r_ 将slice 对象连接到单个NumPy 数组中。使用 NumPy 数组进行索引通常很有效,因为它们在 Pandas 框架内部使用。
    2. 通过pd.DataFrame.iloc 使用位置整数索引,而不是主要基于标签的loc。前者限制性更强,并且与 NumPy 索引更接近。

    这是一个演示:

    # some example dataframe
    df = pd.DataFrame(dict(zip('ABCD', np.arange(100).reshape((4, 25)))))
    
    # concatenate multiple slices
    slices = np.r_[slice(0, 3), slice(6, 10), slice(15, 20)]
    
    # use integer indexing
    df.iloc[slices, df.columns.get_loc('C')] = 0
    

    numpy

    如果您的系列保存在一个连续的内存块中,这通常是数字(或布尔)数组的情况,您可以尝试就地更新底层 NumPy 数组。首先通过np.r_定义slices,然后使用:

    df['C'].values[slices] = 0
    

    这会绕过 Pandas 接口和通过常规索引方法进行的任何相关检查。

    【讨论】:

    • 如果您已经创建了切片列表并希望将其与pandas 和np.r_ 一起使用怎么办?直接使用np.r_[slices] 将不起作用(不会将切片转换为数组)。我可以做类似np.concatenate([np.r_[s] for s in slices]) 的事情,然后将其用作pandas DataFrame 的索引。有没有更好的办法?
    【解决方案2】:

    IIUC,您希望在轴 = 0(行索引)上进行切片。我使用 numpy 的 arange 方法而不是切片,并使用 df.ix:

    slices = np.append(np.arange(0,10), np.arange(20,50), np.arange(1000,5000)) ##add other row slices here
    df.ix[slices, 'some_col']
    

    【讨论】:

    • 注意 ix 自 v0.20.0 以来已被弃用。请改用loc。
    【解决方案3】:

    您可以先尝试为行构建一个完整的索引器,然后执行您的任务:

    row_indexer = pd.concat((df.index[sub_slice] for sub_slice in slices), axis=0)
    df[row_indexer, column] = True
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-12-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-12-15
      • 1970-01-01
      • 2021-10-16
      • 2012-08-06
      相关资源
      最近更新 更多