提取numpy数组中每个元素的最后两位数字的有效方法

Question

考虑这个示例：

sample = np.array([0, 1, 2, 3, 4])

我需要尽可能快的方法来生成sample 中每个值的二进制表示的最后 2 位数字的列表/数组。这样我就得到了二进制表示：

bin_sample = [bin(x) for x in sample]
>>> ['0b0', '0b1', '0b10', '0b11']

我像这样解析它们并得到正确的输出：

output = [bin(x)[-2:].replace('b','0') for x in sample]
>>> ['00', '01', '10', '11', '00']

问题是它太慢了，我正在处理大型数组，有什么建议吗？ 谢谢

编辑： 处理5 million 元素需要大约5 seconds。我需要它来接~ 1 second 编辑#2：任何获得~ 500% 速度提升的优化都可以与之前的算法相媲美。

Answer 1

这是一个有点玩弄的解决方案：

def pp():
    a64 = a.astype(np.int64)
    return (((a64&1)<<32)+((a64&2)>>1)+ord('0')*0x100000001).view('U2')

查找正确：

bits_map = np.array(['00', '01', '10', '11'])
def AMC_pp():
    return bits_map[a & 3]

Answer 2

快速基准测试

设置

import numpy as np
test_arr = np.random.randint(0, 10000000, 10000000)

---

1。原始解决方案

def last_two_bits(arr_in):
    return [bin(num)[-2:].replace('b','0') for num in arr_in]

时间：~5200 毫秒

---

2。 Solution by @aminrd

bits_map = ['00','01','10','11']
def last_two_bits_nv(arr_in):
    return bits_map[arr_in % 4]

last_two_bits = np.vectorize(last_two_bits_nv)

时间：~2600 毫秒

---

3。我对@aminrd 解决方案的调整

bits_map = np.array(['00', '01', '10', '11'])
def last_two_bits(arr_in):
    return bits_map[arr_in % 4]

时间：~170 毫秒

---

4。 First solution by @Paul Panzer

def last_two_bits(arr_in):
    return (((arr_in & 1) << 32) + ((arr_in & 2) >> 1) + ord('0') * 0x100000001).view('U2')

时间：~100 毫秒

---

5。 Optimized version of method 3, by Paul Panzer

bits_map = np.array(['00', '01', '10', '11'])
def last_two_bits(arr_in):
    return bits_map[arr_in & 3]

时间：~60 毫秒

---

6。 Solution by @Mad Physicist

def last_two_bits(arr_in):
    output = np.empty((arr_in.size, 2), dtype=np.uint8)
    np.bitwise_and(arr_in >> 1, 1, out=output[:, 0], casting='unsafe')
    np.bitwise_and(arr_in, 1, out=output[:, 1], casting='unsafe')
    output += 48
    return output.view(dtype='S2').ravel()

时间：~60 毫秒

Answer 3

如果您正在寻找二进制表示中的最后两位，为什么不根据element % 4 将元素映射到['00','01','10','11']。

import numpy as np
sample = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

map_list = ['00','01','10','11']

def f(x):
    return map_list[x % 4]

f = np.vectorize(f)

output = f(sample)

#['00', '01', '10', '11', '00', '01', '10', '11', '00', '01', '10']

Answer 4

我无法使用基准测试工具，但我想知道这是否会有所帮助：

output = np.empty((sample.size, 2), dtype=np.uint8)
np.bitwise_and(sample >> 1, 1, out=output[:, 0], casting='unsafe')
np.bitwise_and(sample, 1, out=output[:, 1], casting='unsafe')
output += 48
output = output.view(dtype='S2').ravel()

Answer 5

使用 Numpy 可能会提供更清洁、更快的解决方案，但我无法证明您可以获得的边际性能提升程度。

import numpy as np

sample = np.array([0, 1, 2, 3, 4])
print([np.binary_repr(x, width=2)[-2:] for x in sample])

这将返回以下输出：

['00', '01', '10', '11', '00']