将 Octave 转换为使用 CuBLAS

Question

我想将 Octave 转换为使用 CuBLAS 进行矩阵乘法。该视频似乎表明这就像输入 28 个字符一样简单：

Using CUDA Library to Accelerate Applications

实际上它比这更复杂一些。有谁知道必须做哪些额外的工作才能编译此视频中所做的修改？

更新

这是我正在尝试的方法

在 dMatrix.cc 中添加

#include <cublas.h>

在 dMatrix.cc 中更改所有出现的（保留大小写）

dgemm

到

cublas_dgemm

在我的构建终端集中

export CC=nvcc
export CFLAGS="-lcublas -lcudart"
export CPPFLAGS="-I/usr/local/cuda/include"
export LDFLAGS="-L/usr/local/cuda/lib64"

我收到的错误是：

libtool: link: g++ -I/usr/include/freetype2 -Wall -W -Wshadow -Wold-style-cast 
-Wformat -Wpointer-arith -Wwrite-strings -Wcast-align -Wcast-qual -g -O2
-o .libs/octave octave-main.o  -L/usr/local/cuda/lib64 
../libgui/.libs/liboctgui.so ../libinterp/.libs/liboctinterp.so 
../liboctave/.libs/liboctave.so -lutil -lm -lpthread -Wl,-rpath
-Wl,/usr/local/lib/octave/3.7.5

../liboctave/.libs/liboctave.so: undefined reference to `cublas_dgemm_'

Answer 1

EDIT2： this video 中描述的方法需要使用 fortran “thunking library”bindings for cublas。 这些步骤对我有用：

1. 从here下载octave 3.6.3：

   wget ftp://ftp.gnu.org/gnu/octave/octave-3.6.3.tar.gz
   

2. 从存档中提取所有文件：

   tar -xzvf octave-3.6.3.tar.gz
   

3. 进入刚刚创建的octave目录：

   cd octave-3.6.3
   

4. 为您的“thunking cublas 库”创建一个目录

   mkdir mycublas
   

5. 进入那个目录

   cd mycublas
   

6. 构建“thunking cublas 库”

   g++ -c -fPIC -I/usr/local/cuda/include -I/usr/local/cuda/src -DCUBLAS_GFORTRAN -o fortran_thunking.o /usr/local/cuda/src/fortran_thunking.c
   ar rvs libmycublas.a fortran_thunking.o
   

7. 切换回主构建目录

   cd ..
   

8. 使用其他选项运行 octave 的 configure：

   ./configure --disable-docs LDFLAGS="-L/usr/local/cuda/lib64 -lcublas -lcudart -L/home/user2/octave/octave-3.6.3/mycublas -lmycublas"
   

   请注意，在上述命令行中，您需要将第二个 -L 切换的目录更改为与您在步骤 4 中创建的 mycublas 目录的路径相匹配的目录

9. 现在根据the video 中的说明编辑octave-3.6.3/liboctave/dMatrix.cc。将dgemm 的每个实例替换为cublas_dgemm 并将DGEMM 的每个实例替换为CUBLAS_DGEMM 就足够了。在我使用的 octave 3.6.3 版本中，每个都有 3 个这样的实例（小写和大写）。

10. 现在你可以构建 octave：

    make
    

    （确保您在octave-3.6.3 目录中）

此时，对我来说，Octave 构建成功。我没有追求make install，尽管我认为这会奏效。我只是使用octave-3.6.3 目录中的./run-octave 脚本运行八度。

以上步骤假定安装了正确且标准的 CUDA 5.0。我将尝试回答特定于 CUDA 的问题或问题，但是在您的平台上安装常规 Octave 可能会出现许多问题。我不是八度专家，我无法回应这些。我使用 CentOS 6.2 进行此测试。

如前所述，此方法涉及修改 octave 的 C 源文件。

GTC 2013 GPU 技术大会的 S3527 会议上详细介绍了另一种方法。本次会议实际上是一个动手实验室练习。不幸的是，上面的材料并不方便。然而，那里的方法没有涉及对 GNU Octave 源的任何修改，而是使用 LD_PRELOAD capability of Linux 来拦截 BLAS 库调用并将（适当的）重定向到 cublas 库。

this blog article 中讨论了一种更新、更好的方法（使用 NVBLAS 拦截库）

Answer 2

我能够使用提供的信息生成已编译的可执行文件。这是一个可怕的 hack，但它确实有效。

流程如下：

首先为fortran_thunking.c 生成一个目标文件

sudo /usr/local/cuda-5.0/bin/nvcc -O3 -c -DCUBLAS_GFORTRAN fortran_thunking.c

然后将该对象文件移动到octave 中的src 子目录

cp /usr/local/cuda-5.0/src/fortran_thunking.o ./octave/src

运行make。编译将在最后一步失败。切换到src 目录。

cd src

然后在octave-main.o 之后添加./fortran_thunking.o -lcudart -lcublas 来执行失败的最后一行。这将产生以下命令

g++ -I/usr/include/freetype2 -Wall -W -Wshadow -Wold-style-cast -Wformat
 -Wpointer-arith -Wwrite-strings -Wcast-align -Wcast-qual
 -I/usr/local/cuda/include -o .libs/octave octave-main.o 
./fortran_thunking.o -lcudart -lcublas  -L/usr/local/cuda/lib64 
../libgui/.libs/liboctgui.so ../libinterp/.libs/liboctinterp.so 
../liboctave/.libs/liboctave.so -lutil -lm -lpthread -Wl,-rpath 
-Wl,/usr/local/lib/octave/3.7.5

octave 二进制文件将在 src/.libs 目录中创建。这是你的 octave 可执行文件。

Answer 3

在最新版本的 CUDA 中，您无需重新编译任何内容。至少正如我在 Debian 中发现的那样。首先，为 NVBLAS（cuBLAS 包装器）创建一个配置文件。没有它根本行不通。

tee nvblas.conf <<EOF
NVBLAS_CPU_BLAS_LIB $(dpkg -L libopenblas-base | grep libblas)
NVBLAS_GPU_LIST ALL
EOF

然后像通常那样使用 Octave 来运行它：

LD_PRELOAD=libnvblas.so octave

NVBLAS 将在 GPU 上尽其所能，同时将其他所有内容转发给 OpenBLAS。

进一步阅读：

• Benchmark for Octave.

• Relevant slides for NVBLAS presentation.

• Manual for nvblas.conf

值得注意的是，您可能无法享受 GPU 计算的所有好处，具体取决于所使用的 CPU/GPU：OpenBLAS 在当前的多核处理器上速度相当快。如此之快以至于time spend copying data to GPU, working on it, and copying back 可能接近在 CPU 上完成这项工作所需的时间。自己检查。尽管 GPU 通常更节能。