如何加快张量流 RNN 推理时间

Question

我们已经训练了一个用于问答的 tf-seq2seq 模型。主框架来自google/seq2seq。我们使用双向RNN（GRU encoders/decoders 128units），加入了soft attention机制。

我们将最大长度限制为 100 个字。它大多只生成 10~20 个单词。

对于模型推理，我们尝试两种情况：

1. 正常（贪心算法）。它的推理时间约为40ms~100ms
2. 光束搜索。我们尝试使用beam width 5，其推理时间约为400ms~1000ms。

所以，我们想尝试使用beam width 3，它的时间可能会减少，但也可能会影响最终的效果。

那么有什么建议可以减少我们案例的推理时间吗？谢谢。

Answer 1

1. 你可以network compression。
2. 通过byte-pair-encoding或unigram language model等将句子切成碎片，然后尝试TreeLSTM。
3. 您可以尝试更快的 softmax，例如自适应 softmax](https://arxiv.org/pdf/1609.04309.pdf)
4. 试试cudnnLSTM
5. 试试dilated RNN
6. 切换到 CNN（如扩张型 CNN）或 BERT 以实现并行化和更高效的 GPU 支持