传统上,对于 C 来说太大的“大端 C 布局中的数字”并没有太多用处。(如果您要处理 2 字节、4 字节或 8 字节的数字,那么struct.unpack 就是答案。)
但有足够多的人厌倦了没有一种明显的方法来做到这一点,Python 3.2 添加了一个方法int.from_bytes,它完全可以满足您的需求:
int.from_bytes(b, byteorder='big', signed=False)
不幸的是,如果您使用的是旧版本的 Python,则没有此功能。那么,您有哪些选择? (除了显而易见的:更新到 3.2,或者更好的是 3.4……)
首先,这是您的代码。我认为binascii.hexlify 是比.encode('hex') 更好的拼写方式,因为对于字节字符串(与Unicode 字符串相反)的方法,“编码”总是看起来有点奇怪,实际上它在Python 3 中已被禁止. 但除此之外,它对我来说似乎非常易读和明显。它应该非常快——是的,它必须创建一个中间字符串,但它在 C 中(至少在 CPython 中)执行所有循环和算术运算,这通常比 Python 快一个或两个数量级。除非您的 bytearray 太大以至于分配字符串本身会很昂贵,否则我不会担心这里的性能。
或者,您可以循环执行。但这会更冗长,至少在 CPython 中会慢很多。
您可以尝试为隐式循环消除显式循环,但这样做的明显函数是 reduce,它被社区的一部分认为是非 Pythonic ——当然它需要调用一个函数每个字节。
您可以展开循环或 reduce,方法是将其分成 8 个字节的块并循环遍历 struct.unpack_from,或者只需执行一个大的 struct.unpack('Q'*len(b)//8 + 'B' * len(b)%8) 并循环遍历它,但这会使其可读性和可能不会那么快。
您可以使用 NumPy……但如果您要大于 64 位或 128 位,它最终会将所有内容都转换为 Python 对象。
所以,我认为你的答案是最好的选择。
以下是与最明显的手动转换相比的一些时间安排:
import binascii
import functools
import numpy as np
def hexint(b):
return int(binascii.hexlify(b), 16)
def loop1(b):
def f(x, y): return (x<<8)|y
return functools.reduce(f, b, 0)
def loop2(b):
x = 0
for c in b:
x <<= 8
x |= c
return x
def numpily(b):
n = np.array(list(b))
p = 1 << np.arange(len(b)-1, -1, -1, dtype=object)
return np.sum(n * p)
In [226]: b = bytearray(range(256))
In [227]: %timeit hexint(b)
1000000 loops, best of 3: 1.8 µs per loop
In [228]: %timeit loop1(b)
10000 loops, best of 3: 57.7 µs per loop
In [229]: %timeit loop2(b)
10000 loops, best of 3: 46.4 µs per loop
In [283]: %timeit numpily(b)
10000 loops, best of 3: 88.5 µs per loop
为了在 Python 3.4 中进行比较:
In [17]: %timeit hexint(b)
1000000 loops, best of 3: 1.69 µs per loop
In [17]: %timeit int.from_bytes(b, byteorder='big', signed=False)
1000000 loops, best of 3: 1.42 µs per loop
所以,你的方法还是挺快的……