快速向 Pandas 数据框添加多列

Question

我正在编写一些对性能敏感的代码，我必须在其中快速向 Pandas 数据框添加大量列。

通过从 dict 构造第二个数据帧并将它们连接起来，我已经设法比单纯地重复 df[foo] = bar 提高了 3 倍：

def mkdf1(n):
    df = pd.DataFrame(index=range(10,20), columns=list('qwertyuiop'))
    for i in xrange(n):
        df['col%d' % i] = range(i, 10+i)
    return df

def mkdf2(n):
    df = pd.DataFrame(index=range(10,20), columns=list('qwertyuiop'))
    newcols = {}
    for i in xrange(n):
        newcols['col%d' % i] = range(i, 10+i)
    return pd.concat([df, pd.DataFrame(newcols, index=df.index)], axis=1)

时间安排显示出实质性改进：

%timeit -r 1 mkdf1(100)
100 loops, best of 1: 16.6 ms per loop

%timeit -r 1 mkdf2(100)
100 loops, best of 1: 5.5 ms per loop

我可以在这里做任何其他优化吗？

编辑：另外，concat 调用在我的真实代码中花费的时间比我的玩具示例要长得多；特别是 get_result 函数需要更长的时间，尽管生产 df 的行数较少，我不知道为什么。任何有关如何加快速度的建议将不胜感激。

Answer 1

我对您的数据框应该是什么样子感到有些困惑，但使用通用技术很容易加快速度。基本上对于 pandas/numpy 的速度，如果可能的话，你想避免 for 和任何 concat/merge/join/append。

您最好的选择是最有可能使用numpy 创建一个数组，该数组将作为数据框的输入，然后根据您的喜好命名列。就计算时间而言，这两个操作都应该是微不足道的。

这里是 numpy 部分，看起来你已经知道如何构造列名了。

%timeit pd.DataFrame(  np.ones([10,100]).cumsum(axis=0) 
                     + np.ones([10,100]).cumsum(axis=1) )
10000 loops, best of 3: 158 µs per loop

我认为您正在尝试制作这样的东西？ （如果没有，如果您不熟悉 numpy，只需查看它，它有各种数组操作，应该可以很容易地在这里做任何您想做的事情）。

In [63]: df.ix[:5,:10]
Out[63]: 
   0   1   2   3   4   5   6   7   8   9   10
0   2   3   4   5   6   7   8   9  10  11  12
1   3   4   5   6   7   8   9  10  11  12  13
2   4   5   6   7   8   9  10  11  12  13  14
3   5   6   7   8   9  10  11  12  13  14  15
4   6   7   8   9  10  11  12  13  14  15  16
5   7   8   9  10  11  12  13  14  15  16  17