【问题标题】:fastest way to create numpy 2d array of indices创建 numpy 二维索引数组的最快方法
【发布时间】:2017-10-29 01:03:19
【问题描述】:

我想创建一个包含单元格索引的 numpy 2d 数组,例如可以使用以下方法创建这样的 2x2 mat:

np.array([[[0,0],[0,1]],[[1,0],[1,1]]])

换句话说,索引i,j 处的单元格应包含列表[i,j]。

我可以用 c 方式创建一个嵌套循环,但我想知道是否有一种快速的 Pythonic 方式可以做到这一点?

【问题讨论】:

    标签: python performance numpy vectorization


    【解决方案1】:

    对于 NumPy 的性能,我建议使用基于数组初始化的方法 -

    def indices_array(n):
        r = np.arange(n)
        out = np.empty((n,n,2),dtype=int)
        out[:,:,0] = r[:,None]
        out[:,:,1] = r
        return out
    

    对于一个通用的(m,n,2) 整形输出,我们需要一些修改:

    def indices_array_generic(m,n):
        r0 = np.arange(m) # Or r0,r1 = np.ogrid[:m,:n], out[:,:,0] = r0
        r1 = np.arange(n)
        out = np.empty((m,n,2),dtype=int)
        out[:,:,0] = r0[:,None]
        out[:,:,1] = r1
        return out
    

    注意:另外,请阅读本文后面的 2019 附录 以了解性能。用大 m, n 提升。

    示例运行 -

    In [145]: n = 3
    
    In [146]: indices_array(n)
    Out[146]: 
    array([[[0, 0],
            [0, 1],
            [0, 2]],
    
           [[1, 0],
            [1, 1],
            [1, 2]],
    
           [[2, 0],
            [2, 1],
            [2, 2]]])
    

    如果您需要 2 列 2D 数组,只需重塑 -

    In [147]: indices_array(n).reshape(-1,2)
    Out[147]: 
    array([[0, 0],
           [0, 1],
           [0, 2],
           [1, 0],
           [1, 1],
           [1, 2],
           [2, 0],
           [2, 1],
           [2, 2]])
    

    时间和验证 -

    In [141]: n = 100   
         ...: out1 = np.array(list(product(range(n), repeat=2))).reshape(n,n,2)
         ...: out2 = indices_array(n)
         ...: print np.allclose(out1, out2)
         ...: 
    True
    
    # @Ofek Ron's solution
    In [26]: %timeit np.array(list(product(range(n), repeat=2))).reshape(n,n,2)
    100 loops, best of 3: 2.69 ms per loop
    
    In [27]: # @Brad Solomon's soln    
        ...: def ndindex_app(n):
        ...:    row, col = n,n
        ...:    return np.array(list(np.ndindex((row, col)))).reshape(row, col, 2)
        ...: 
    
    # @Brad Solomon's soln 
    In [28]: %timeit ndindex_app(n)
    100 loops, best of 3: 5.72 ms per loop
    
    # Proposed earlier in this post
    In [29]: %timeit indices_array(n)
    100000 loops, best of 3: 12.1 µs per loop
    
    In [30]: 2690/12.1
    Out[30]: 222.31404958677686
    

    200x+ 使用基于初始化的n=100 加速!


    2019 年附录

    我们也可以使用np.indices -

    def indices_array_generic_builtin(m,n):
        return np.indices((m,n)).transpose(1,2,0)
    

    时间安排 -

    In [115]: %timeit indices_array_generic(1000,1000)
         ...: %timeit indices_array_generic_builtin(1000,1000)
    100 loops, best of 3: 2.92 ms per loop
    1000 loops, best of 3: 1.37 ms per loop
    

    【讨论】:

    • 是否也比 np.ndindex 快?
    • @OfekRon 为所有方法添加了计时。看看吧!
    • 如果重新请求的垫子不是正方形怎么办?例如,给定行数,列数与 ndindex 中的一样?
    • def create_indices(rows,cols): r = np.arange(rows) c = np.arange(cols) out = np.empty((rows,cols,2),dtype=int) out[:,:,0] = r[:,None] out[:,:,1] = c print out return out
    • @OfekRon 查看刚刚添加的indices_array_generic。
    【解决方案2】:
    np.array(list(product(range(n), repeat=2))).reshape(n,n,2)
    

    这行得通

    【讨论】:

    • 单元格索引是列表,我需要 2d 矩阵包含每个单元格处的单元格索引...我同意这原来是 3 维,但这就是我需要的
    【解决方案3】:

    你想要np.ndindex。

    def coords(row, col):
        return np.array(list(np.ndindex((row, col)))).reshape(row, col, 2)
    
    coords(3, 2)
    Out[32]: 
    array([[[0, 0],
            [0, 1]],
    
           [[1, 0],
            [1, 1]],
    
           [[2, 0],
            [2, 1]]])
    

    【讨论】:

      猜你喜欢
      • 2019-11-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-12-11
      • 2011-07-07
      • 2020-10-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多