稀疏张量以减少训练时间

Question

我正在学习 PyTorch 稀疏张量：https://pytorch.org/docs/stable/sparse.html

来自文档 (https://pytorch.org/docs/stable/sparse.html)：“Torch 支持 COO(rdinate) 格式的稀疏张量，它可以有效地存储和处理大多数元素为零的张量。”

是使用稀疏张量代替常规 PyTorch 张量来减少训练时间的一种预期用途吗？

Answer 1

是的，但间接的。

稀疏张量可以减少计算的复杂性，从而减少训练/推理时间。矩阵乘法的复杂度取决于矩阵中元素的数量，而稀疏矩阵乘法的复杂度取决于较少的非零元素的数量（由于稀疏性）