【问题标题】:Convert structured array with various numeric data types to regular array将具有各种数值数据类型的结构化数组转换为常规数组
【发布时间】:2014-10-04 05:00:03
【问题描述】:

假设我有一个具有各种数字数据类型的 NumPy 结构化数组。作为一个基本的例子,

my_data = np.array( [(17, 182.1),  (19, 175.6)],  dtype='i2,f4')

如何将其转换为常规的 NumPy 浮点数组?

来自this answer,我知道我可以使用

np.array(my_data.tolist())

但显然它很慢,因为您“将有效打包的 NumPy 数组转换为常规 Python 列表”。

【问题讨论】:

  • 在上一个问题中,所有字段都属于同一类型。
  • 我写了a quick script 来查看对于 30000x3000 阵列来说哪个答案是最快的,它们非常相似——JohnZwinck 的:0.30 秒,Jaime 的:0.41 秒,hpaulj 的:0.46 秒,WarrenWeckesser : 0.47 秒。他们都使用了大约 3GB 的内存。

标签: python arrays numpy structured-array


【解决方案1】:

您可以使用 Pandas 轻松完成:

>>> import pandas as pd
>>> pd.DataFrame(my_data).values
array([[  17.       ,  182.1000061],
       [  19.       ,  175.6000061]], dtype=float32)

【讨论】:

    【解决方案2】:

    这是一种方式(假设my_data 是一维结构化数组):

    In [26]: my_data
    Out[26]: 
    array([(17, 182.10000610351562), (19, 175.60000610351562)], 
          dtype=[('f0', '<i2'), ('f1', '<f4')])
    
    In [27]: np.column_stack(my_data[name] for name in my_data.dtype.names)
    Out[27]: 
    array([[  17.       ,  182.1000061],
           [  19.       ,  175.6000061]], dtype=float32)
    

    【讨论】:

      【解决方案3】:

      显而易见的方法是:

      >>> my_data
      array([(17, 182.10000610351562), (19, 175.60000610351562)],
            dtype=[('f0', '<i2'), ('f1', '<f4')])
      >>> n = len(my_data.dtype.names)  # n == 2
      >>> my_data.astype(','.join(['f4']*n))
      array([(17.0, 182.10000610351562), (19.0, 175.60000610351562)],
            dtype=[('f0', '<f4'), ('f1', '<f4')])
      >>> my_data.astype(','.join(['f4']*n)).view('f4')
      array([  17.       ,  182.1000061,   19.       ,  175.6000061], dtype=float32)
      >>> my_data.astype(','.join(['f4']*n)).view('f4').reshape(-1, n)
      array([[  17.       ,  182.1000061],
             [  19.       ,  175.6000061]], dtype=float32)
      

      【讨论】:

        【解决方案4】:

        Warren 答案的变体(按字段复制数据):

        x = np.empty((my_data.shape[0],len(my_data.dtype)),dtype='f4')
        for i,n in enumerate(my_data.dtype.names):
            x[:,i]=my_data[n]
        

        或者你可以逐行迭代。 r 是一个元组。它必须转换为列表才能填充x 的行。如果行多,字段少,这会比较慢。

        for i,r in enumerate(my_data):
            x[i,:]=list(r)
        

        尝试x.data=r.data 可能会有启发,但会出现错误:AttributeError: not enough data for array。 x data 是一个有 4 个浮点数的缓冲区。 my_data 是一个包含 2 个元组的缓冲区,每个元组包含一个 int 和一个 float(或 [int float int float] 的序列)。 my_data.itemsize==6。一种或另一种方式,my_data 必须转换为所有浮点数,并删除元组分组。

        但是像 Jaime 展示的那样使用 astype 确实有效:

        x.data=my_data.astype('f4,f4').data
        

        在使用包含 5 个字段的 1000 项数组的快速测试中,逐个字段复制与使用 astype 一样快。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 2020-12-17
          • 2023-03-18
          • 2021-12-01
          • 1970-01-01
          • 2011-05-17
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多