Numpy/pandas 优化：垃圾箱计数

Question

我想通过计算 begin 和 end 之间的值的数量 N 来“合并”numpy.array 或 pandas.Series x。结果存储在pandas.DataFrame：

import numpy as np
import pandas as pd
bins = pd.DataFrame({'from': np.arange(0, 1, 0.01), 'to': np.arange(0, 1, 0.01) + 0.1})
x = np.random.rand(1000000)
bins['N'] = bins.apply(lambda r:  ((x >= r['from']) & (x < r['to'])).sum(), axis=1)

当我分析代码时，整个脚本中最慢的部分（包含更多内容）如果最后一行，尤其是 lambda：15 % 的时间花在那个 lambda 上！

我感觉我必须以矢量化方式实现，而不是使用lambda，但我不知道如何。

我正在使用 Python 3.5、numpy 1.11 和 pandas 0.18.1

---

编辑：附加信息 + 使用间隔树进行测试

实际上，这种分箱是迭代使用的：分箱是用一些数据启动的，并且可能会用其他数据集进行更新。

正如建议的那样，我尝试过使用 intervaltree，但它的性能甚至变得最差。从第二次迭代开始，我收到了用户警告，因为 boold dtype 上的 numexpr 不支持“+”，所以它切换到纯 python 模式。

Answer 1

间隔是固定大小的事实可能会被滥用来大大加快代码速度。因此，设置好参数后，您可以使用NumPy's bincount procedure，就像这样-

# First off, filter out elements that are outside the min,max limits.
# Then subtract min_val from the filtered elements so that they all start from 0
# Then, scale them w.r.t width and floor them, thus converting them into IDs
IDs = ((x[(x >= min_val) & (x<=max_val)]-min_val)/width).astype(int)

# Finally count those IDs, which is the desired output as new column
bins['N'] = np.bincount(IDs)

因此，对于发布的示例，我们将参数设置为：

min_val = 0
max_val = 1
width = 0.1

示例运行 -

In [156]: # Params
     ...: min_val = 4
     ...: max_val = 8
     ...: width = 0.4
     ...: 
     ...: # Create inputs
     ...: bins = pd.DataFrame({'from': np.arange(4, 8, 0.4), 'to': 
     ...:                                   np.arange(4, 8, 0.4) + 0.4})
     ...: x = 10*np.random.rand(1000)
     ...: 

In [157]: bins['N'] = bins.apply(lambda r:  ((x >= r['from']) & \
     ...:                                      (x < r['to'])).sum(), axis=1)

In [158]: bins
Out[158]: 
   from   to   N
0   4.0  4.4  42
1   4.4  4.8  40
2   4.8  5.2  36
3   5.2  5.6  43
4   5.6  6.0  45
5   6.0  6.4  29
6   6.4  6.8  40
7   6.8  7.2  46
8   7.2  7.6  41
9   7.6  8.0  45

In [159]: IDs = ((x[(x >= min_val) & (x<=max_val)]-min_val)/width).astype(int)

In [160]: np.bincount(IDs)
Out[160]: array([42, 40, 36, 43, 45, 29, 40, 46, 41, 45])

Answer 2

如果 "...边界有固定宽度，如 [[min + 0 width, min + 1 width], [min + 1 width, min + 2 width], ..., [max - 1宽度，最大]]..."，使用numpy.histogram:

bins["N"] = numpy.histogram(x, numpy.concatenate([bins["from"], bins["to"].tail(1)]))[0]

这会比这更简单，但如果你在 bins["to"] 中有最后一条边，则需要将它包含在 bins 边列表中。

详情：http://docs.scipy.org/doc/numpy/reference/generated/numpy.histogram.html