如何使用 Tensorflow Lite 在 Mali-GPU 上运行 Transformer 和 BERT 模型？

Question

我正在尝试使用 Tensorflow Lite 在 Mali-GPU 上运行 Transformer 和 BERT 模型，但据我所知，tflite 仅支持 GPU 上的一些操作，而不支持深度学习模型本身。 关于如何在 Mali-GPU 上运行这些 Transformer 和 BERT 模型，您有什么想法和技巧吗？我可以将 Tensoflow GPU 模型转换为 tflite GPU 模型吗？或者是否有任何其他库支持嵌入式 GPU 上的转换器？

Answer 1

1. 您是否尝试在 GPU 委托上运行模型的 tflite 版本。 TFLite Delegate 会将尽可能多的节点委托给委托（在您的情况下为 GPU），其余节点将在 CPU 上运行。你可以得到Mobilebert

2. 如果您有修改版本，可以尝试使用 TFLiteConverter 进行转换，如果您有问题，请向 TFLite 团队提交 github issue