Keras 是否可以将张量直接加载到 VRAM 并跳过 RAM？

Question

假设我有一台 RAM 很少但 GPU 功能强大的机器，是否可以绕过 RAM 并将 .npy 文件直接加载到 GPU 中？

例如，

model.fit(x=None, y=None)

如果我的X 太大而无法放入内存怎么办？是否有一种机制可以让我在文件系统中逐段加载它，因为它迭代批次，或者只是将整个张量传递给 GPU？我想我的第一个选项可以通过Training a Keras model from batches of .npy files using generator?来回答

Answer 1

从技术上讲，这是可以做到的。 CreateFileMapping 将允许将数据直接从磁盘传输到 gpu。但是，我不相信 tensorflow 会支持这样的东西。