【问题标题】:Python: the fastest way to translate numpy string array to a number arrayPython:将numpy字符串数组转换为数字数组的最快方法
【发布时间】:2016-06-06 19:30:42
【问题描述】:

任何人都可以告诉我将这个字符串数组转换为数字数组的最快方法是什么:

import numpy as np
strarray = np.array([["123456"], ["654321"]])

     to

numberarray = np.array([[1,2,3,4,5,6], [6,5,4,3,2,1]])

将 str 映射到列表,然后将 str 映射到 int 对于大型数组来说太慢了!

请帮忙!

【问题讨论】:

标签: python arrays string numpy numbers


【解决方案1】:

您可以使用数组view 方法将字符串拆分为单个字符:

In [18]: strarray = np.array([[b"123456"], [b"654321"]])

In [19]: strarray.dtype
Out[19]: dtype('S6')

In [20]: strarray.view('S1')
Out[20]: 
array([['1', '2', '3', '4', '5', '6'],
       ['6', '5', '4', '3', '2', '1']], 
      dtype='|S1')

有关数据类型字符代码,请参阅here

那么最明显的下一步就是使用astype

In [23]: strarray.view('S1').astype(int)
Out[23]: 
array([[1, 2, 3, 4, 5, 6],
       [6, 5, 4, 3, 2, 1]])

但是,将字符串底层的内存重新解释(查看)为单字节整数并减去 48 会快得多。这是因为 ASCII 字符占用一个字节,而字符 '0''9' 是二进制等价的到 (u)int8 的 48 到 57(检查 ord builtin)。

速度对比:

In [26]: ar = np.array([[''.join(np.random.choice(list('123456789'), size=320))] for _ in range(1000)], bytes)

In [27]: %timeit _ = ar.view('S1').astype(np.uint8)
1 loops, best of 3: 284 ms per loop

In [28]: %timeit _ = ar.view(np.uint8) - ord('0')
1000 loops, best of 3: 1.07 ms per loop

如果使用 Unicode 而不是 ASCII,您需要执行的这些步骤略有不同。或者先使用astype(bytes) 转换为ASCII。

【讨论】:

  • 可能是版本问题,我正在获取 strarray.dtype 的 unicode。我在 Python 3.4 上。 ar.view('S1') 和字符串本身都有"b'"
  • @Divakar - 为了兼容 Python 3,我将字符串更改为字节。
  • 但是如果 OP 将这些作为字符串,他/她必须先转换为字节,对吗?怎么可能做到?
  • @Divakar - Python 2.x 默认使用 ASCII 字符串,并且适用于这些字符串。
  • 啊,是的,您在帖子中提到了.astype(bytes) 进行转换!很好,现在对我有用。
【解决方案2】:

这是一种将输入字符串转换为长度为 N 的数值数组的方法,即每个字符串都转换为长度为 N 的一维数组,其中 N 是每个字符串的长度。 这里建议的方法基本上将字符串转换为它们的 int 等价物,然后使用与它们前面元素的 power-10 缩放版本的差异来获取所有数字。实现看起来像这样 -

A = (strarray.astype(int)/(10**np.arange(len(strarray[0][0])))).astype(int)
out = np.column_stack((A[:,-1],(A[:,:-1] - 10*A[:,1:])[:,::-1]))

示例运行 -

In [177]: strarray  = np.array([["0308468"], ["6540542"], ["4973473"]])

In [178]: A = (strarray.astype(int)/(10**np.arange(len(strarray[0][0])))).astype(int)
     ...: out = np.column_stack((A[:,-1],(A[:,:-1] - 10*A[:,1:])[:,::-1]))
     ...: 

In [179]: out
Out[179]: 
array([[0, 3, 0, 8, 4, 6, 8],
       [6, 5, 4, 0, 5, 4, 2],
       [4, 9, 7, 3, 4, 7, 3]])

【讨论】:

  • 棘手的解决方案!感谢您提供这种点亮我的方法!
猜你喜欢
  • 1970-01-01
  • 2012-03-20
  • 2018-09-19
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-05-05
  • 2016-05-20
  • 1970-01-01
相关资源
最近更新 更多