【问题标题】:Weave inline typecasting (python)编织内联类型转换(python)
【发布时间】:2013-01-08 18:15:34
【问题描述】:

2013 年最美好的祝愿!

我使用 SciPy 的内联编织和我的一些 C++ 代码来转置巨大的矩阵(大约 200.000 x 15)。它就像一个魅力,但我有一个关于类型转换的问题:

我的输入矩阵是从文件中读取的,以逗号分隔等,因此所有条目都是字符串而不是浮点数('0.551' 而不是 0.551)。这不会影响转置函数的工作方式,但后来我必须将某些行转换为 numpy 浮点数组,所以我想知道这是否可以在 C++ 代码中完成。让我用一些代码解释一下:

def transpose(lines, N, x):
    code =  """
            py::list matrix;
            for(int i = 0; i < x; i++) {
                py::list line;
                if(i == 1) { continue; }
                for(int j = 0; j < N; j++) {
                    line.append(lines[j][i]);
                }
                matrix.append(line);
            }
            return_val = matrix;
            """
    return weave.inline(code, ['lines', 'N', 'x'])

matrix = [['0.5','0.1'],['0.2','0.2']]
matrixT = transpose(matrix, len(matrix), len(matrix[0]))
final_result = np.array(matrixT[0], dtype=float)

在示例中,我的小矩阵将被转置,我的示例结果将转置矩阵的第一行转换为 dtype 浮点数的 numpy 数组。这可以用 C++ 代码来完成吗?我尝试过使用double x = (double) lines[j][i] 之类的东西,但它不适用于附加到 py::list 对象。

【问题讨论】:

  • 我尝试了您的示例,在附件中添加了atof,即line.append(atof(lines[j][i])),效果很好。
  • 你为什么不在这里使用numpy的内置功能? arr = np.arr([['0.5','0.1'],['0.2','0.2']],dtype=float) 然后转置:arr.T,尽管您不必转置来获得第一行:arr[:,0] 应该这样做。还有genfromtxt 用于从类似csv 的文件中读取数据...
  • Numpy 的内置方法太慢了,我尝试过 genfromtxt 和 loadtxt,但它们所花费的时间大约是我的 C++ 算法所用时间的两倍。 @Jaime 这正是我想要的,谢谢!是否也可以将输出作为 numpy 2d 数组而不是 python 列表返回?

标签: c++ python casting numpy scipy


【解决方案1】:

以下内容可以完成您所追求的全部工作:

def transpose(lines):
    code =  """
            for(int i = 0; i < x; i++) {
                for(int j = 0; j < N; j++) {
                    out[j + i * N] = atof(lines[j][i]);
                    // OUT2(i, j) = atof(lines[j][i]);
                }
            }
            """
    N = len(lines)
    x = len(lines[0])
    out = np.empty((x, N), dtype=np.float64)
    weave.inline(code, ['lines', 'N', 'x', 'out'])
    return out

>>> matrix = [['0.5', '0.1', '0.7'],['0.2','0.2', '0.4']]
>>> matrix
[['0.5', '0.1', '0.7'], ['0.2', '0.2', '0.4']]
>>> transpose(matrix)
array([[ 0.5,  0.2],
       [ 0.1,  0.2],
       [ 0.7,  0.4]])

除了在 6 年没有编写任何 C 代码之后不断忘记 ; 之外,我很难弄清楚 out 在 C++ 代码中变成了什么,最后它是指向数据本身,而不是PyArrayObjectdocumentation 状态。 weave 定义了两个可供使用的变量out_arraypy_out,它们的类型分别为PyArrayObject*PyObject*

我已将分配的替代版本注释掉:weave 自动定义宏 &lt;VAR&gt;1&lt;VAR&gt;2&lt;VAR&gt;3&lt;VAR&gt;4 以访问相应维数的数组项。

【讨论】:

  • 非常感谢!这确实正是我所需要的,它比我以前尝试过的任何东西都要快。
猜你喜欢
  • 2018-12-13
  • 1970-01-01
  • 1970-01-01
  • 2022-12-10
  • 2011-01-23
  • 1970-01-01
  • 2018-10-26
  • 2016-10-07
相关资源
最近更新 更多