使用 CUDA 实现大型线性回归模型

Question

为了分析 10^6 个遗传因素及其 GeneXGene 相互作用 (~5x10^11)，我有许多独立的线性回归问题，这些问题可能适合在 GPU 上进行分析。

目标是使用包含交互项的线性回归详尽地搜索 GeneXGene 在调节结果变量（大脑表型）中的交互作用。

据我所知，Householder QR 分解可能是拟合回归模型的解决方案，但是，考虑到这项特定工作中的每个回归矩阵都可以轻松接近 10'000x10 的大小，即使每个单个回归矩阵都可以似乎不适合 GPU 片上内存（共享、寄存器等）。

我应该接受这是一个固有带宽受限的问题，并在回归分析期间将矩阵保留在 GPU 全局内存中，还是其他策略可行？

编辑 以下是有关该问题的更多详细信息：

将有大约 10,000 名受试者，每名受试者具有约 1M 的遗传参数（遗传矩阵：10'000x10^6）。每次迭代中的算法应选择此遗传矩阵的两列 (10'000x2) 以及大约 6 个与遗传数据无关的其他变量（年龄、性别等），因此最终的回归模型将处理大小为 10 的矩阵'000x[2（遗传因素）+6（协变量）+2（截距和交互项）] 和结果变量向量（10'000x1）。对于给定的一对遗传因素，每次将重复此相同的过程约 5e11 次。那些通过预定义统计阈值的模型应保存为输出。

具体的问题是，虽然有大约 5e11 个单独的回归模型，但即使是单个模型似乎也不适合片上内存。

我还猜想，坚持使用 CUDA 库可能不是这里的解决方案，因为这要求大部分数据操作都在 CPU 端进行，并且只将每个 QR 分解发送到 GPU？

Answer 1

您整个数据矩阵（1E4 x 1e6）可能太大，不能适合在全局存储器中，而您的每个最小二乘求解（1E4 x 10）可能太小而无法充分利用GPU。

---

对于每个最小的方格问题，您可以使用Cusolver进行QR分解和三角形求解。

http://docs.nvidia.com/cuda/cusolver/index.html#cuds-lt-t-gt-geqrf

如果问题大小太小而无法充分利用GPU，可以使用并发内核执行同时解决多个方程。

https://devblogs.nvidia.com/parallelforall/gpu-pro-tip-cuda-7-streams-simplify-concurrency/

---

对于整个数据矩阵，如果它不能拟合到全局内存中，您可以一次只能工作。例如，您可以将矩阵分为十（1E4 x 1E5）块，每次通过PCIe加载两个块，分别从两个块中选择所有可能的双列组合，求解等式，然后加载另外两个块。最大化块大小将有助于您最小化PCIe数据传输。通过适当的设计，我确定PCIe数据传输的时间远小于求解1E12方程。此外，您可以将数据传输与Solver Kernel执行重叠重叠。

https://devblogs.nvidia.com/parallelforall/how-overlap-data-transfers-cuda-cc/