如何确定 Deep Java Library (DJL) 中可用的 GPU 内存？

【问题标题】：How to determine the available GPU memory in Deep Java Library (DJL)?如何确定 Deep Java Library (DJL) 中可用的 GPU 内存？
【发布时间】：2021-04-03 16:19:15
【问题描述】：

有没有办法在 DJL 中查询 GPU 上的最大总内存？例如。 NVIDIA 1080ti 应该返回 11GB 的值。

我正在使用 mxnet 引擎，但与引擎无关的解决方案当然更可取。

【问题讨论】：

标签： java memory gpu djl

【解决方案1】：

是的，DJL 已通过 JNA 在https://github.com/awslabs/djl/blob/d2c47d0f2d663b8a5794c21d971420a99f2d47cd/api/src/main/java/ai/djl/util/cuda/CudaUtils.java 中直接与 CUDA API 集成。所以它是与引擎无关的解决方案。

MemoryUsage mem = CudaUtils.getGpuMemory(device);
mem.getMax(); // it should return 11GB

【讨论】：