连接大的numpy数组

Question

假设我有一些 NumPy 数组 a 和 b，其中 a.shape 是 (N, 5000) 和 b.shape 是 (N, 2500)。 N 是一些样本，可能会根据我的问题/算法而有所不同 - 但对于 a 和 b，它总是相同的。

现在我想要另一个形状为(N, 7500) 的数组c，它在[0:5000] 中保存a 的值，在[5000:7500] 中保存b 的值。

目前我正在创建一个零填充的缓冲区数组并将值切片到其中：

# ...retrieving a
# ...retrieving b
c = zeros.((N, 7500)).astype(np.float32)

# insert values of a
c[:, 0:5000] = a

# insert values of b
c[:, 5000:7500] = b

# free up memory
del a, b

这是一种快速/高效的（因此是“pythonic”/“numpy'ish”）方式吗？或者是否存在在空间/内存消耗或计算时间方面更好的解决方案？

a 和 b 是从其他地方加载并进行预处理的，因此不能以某种方式直接将数据插入缓冲区 c 而不创建 a 和 b。

Answer 1

c = np.hstack([a,b]) 会做你想做的事。另见np.concatenate

---

Timeit 结果

a = np.ones((1000,5000), dtype=np.float64)
b = np.ones((1000,2500), dtype=np.float64)

%timeit c = np.concatenate([a,b], axis=1)
1000 loops, best of 3: 66.4 ms per loop

%timeit c = np.hstack([a,b])
1000 loops, best of 3: 67.3 ms per loop

# Check that it is really the same:
np.testing.assert_array_equal(np.concatenate([a,b], axis=1), np.hstack([a,b]))

所以连接可能会快一点，因为hstack 只是concatenate 周围的一个包装器（不必要的函数调用）

作为参考

%%timeit
c = np.zeros((1000, 7500), dtype=np.float64)

# insert values of a
c[:, 0:5000] = a

# insert values of b
c[:, 5000:7500] = b

1000 loops, best of 3: 69.7 ms per loop

似乎几乎和concatenate 一样快。但这只是因为第一个轴是1000。如果我将第一个轴更改为仅包含 10 元素，则时间完全不同：

a = np.ones((10,5000), dtype=np.float64)
b = np.ones((10,2500), dtype=np.float64)

# concatenate
1000 loops, best of 3: 349 µs per loop
# hstack
1000 loops, best of 3: 406 µs per loop
# your approach
1000 loops, best of 3: 452 µs per loop

Answer 2

对于这些大小，只使用hstack 是合理的。

Answer 3

hstack 更快：

a = np.ones((5, 2500)).astype(np.float32)
b = np.zeros((5, 5000)).astype(np.float32)
n = 5

%%timeit
c = np.zeros((n, 7500)).astype(np.float32)
c[:, :2500] = a
c[:, 2500:] = b
10000 loops, best of 3: 70 µs per loop

%timeit c = np.hstack((a, b))
10000 loops, best of 3: 27 µs per loop

如果您使用小型数组，hstack 会比其他解决方案慢一些。 在内存使用方面，这两种方法应该是相似的。