不同行大小的numpy填充矩阵答案

【问题标题】：numpy padding matrix of different row size不同行大小的numpy填充矩阵
【发布时间】：2016-10-07 04:32:37
【问题描述】：

我有一个不同行大小的 numpy 数组

a = np.array([[1,2,3,4,5],[1,2,3],[1]])

我想把它变成一个密集的（固定的 n x m 大小，没有可变行）矩阵。到目前为止，我尝试过这样的事情

size = (len(a),5)    
result = np.zeros(size)
result[[0],[len(a[0])]]=a[0]

但我收到一个错误提示

形状不匹配：形状 (5,) 的值数组无法广播到形状(1,)的索引结果

我也尝试使用 np.pad 进行填充，但根据 numpy.pad 的文档，我似乎需要在 pad_width 中指定行的先前大小（这是可变的，并且在尝试使用时产生了错误 - 1,0 和最大的行大小）。

我知道我可以按照here 显示的那样为每行填充填充列表，但我需要使用更大的数据数组来做到这一点。

如果有人可以帮助我回答这个问题，我会很高兴知道。

【问题讨论】：

该输入的预期输出是什么：a = np.array([[1,2,3,4,5],[1,2,3],[1]])?
澄清一下：您没有有一个不同行大小的numpy数组。你所拥有的是一个 numpy 对象数组。每个对象本身就是另一个数组。
result[i,:len(a[i])]=a[i] 有效。您需要在第二维（:）中使用切片。您的列表数组与列表列表基本相同。您将通过一种或另一种方式迭代这些子列表。
感谢您的澄清。我将不得不修复它。

标签： python arrays numpy padding rows

【解决方案1】：

真的没有办法填充jagged array 以使其失去锯齿状，而不必遍历数组的行。您甚至必须对数组进行两次迭代：一次是找出您需要填充的最大长度，另一次是实际进行填充。

您链接到的代码提案将完成工作，但效率不高，因为它在迭代行元素的 python for 循环中添加了零，而附加可能已经预先计算，从而将更多的代码推送到 C 中。

下面的代码预先计算了一个所需最小维度的数组，用零填充，然后简单地将锯齿状数组 M 中的行添加到位，这样效率更高。

import random
import numpy as np
M = [[random.random() for n in range(random.randint(0,m))] for m in range(10000)] # play-data

def pad_to_dense(M):
    """Appends the minimal required amount of zeroes at the end of each 
     array in the jagged array `M`, such that `M` looses its jagedness."""

    maxlen = max(len(r) for r in M)

    Z = np.zeros((len(M), maxlen))
    for enu, row in enumerate(M):
        Z[enu, :len(row)] += row 
    return Z

给你一些关于速度的想法：

from timeit import timeit
n = [10, 100, 1000, 10000]
s = [timeit(stmt='Z = pad_to_dense(M)', setup='from __main__ import pad_to_dense; import numpy as np; from random import random, randint; M = [[random() for n in range(randint(0,m))] for m in range({})]'.format(ni), number=1) for ni in n]
print('\n'.join(map(str,s)))
# 7.838103920221329e-05
# 0.0005027339793741703
# 0.01208890089765191
# 0.8269036808051169

如果您想在数组前面添加零，而不是追加，那么对代码进行足够简单的更改，我将留给您。

【讨论】：

感谢您的回答。我已经这样做了。

【解决方案2】：

你可以用 numpy.pad 做这样的事情

import numpy as np
a = np.array([[1,2,3,4,5],[1,2,3],[1]])
l = np.array([len(a[i]) for i in range(len(a))])
width = l.max()
b=[]
for i in range(len(a)):
    if len(a[i]) != width:
        x = np.pad(a[i], (0,width-len(a[i])), 'constant',constant_values = 0)
    else:
        x = a[i]
    b.append(x)
b = np.array(b)
print(b)

上面的代码输出类似这样的内容。

b = [[1, 2, 3, 4, 5],
     [1, 2, 3, 0, 0],
     [1, 0, 0, 0, 0]]

您可以通过执行以下操作来回读您输入的数据版本

a = []
for i in range(len(b)):
    a.append(b[i][0:l[i]])
a = np.array(a)
print(a)

你得到以下输出的地方

a = array([array([1, 2, 3, 4, 5]), array([1, 2, 3]), array([1])], dtype=object)

希望这可以帮助像我一样苦苦挣扎的人解决问题。谢谢。

【讨论】：