在 CPU、GPU 和 TPU 中同时在 Coral 开发板上执行推理工作负载

Question

我目前正在使用 TensorFlow Lite 在 Coral 开发板上执行推理工作负载。我正在尝试同时在 CPU、GPU 和 TPU 上运行推理以减少推理延迟。

你们能帮我了解如何同时在所有设备上执行推理吗？我可以在 CPU 和 GPU 中为训练阶段划分网络层，但在将网络层分配给每个设备进行推理时遇到了麻烦。代码是用 python 语言编写的，在 Tensorflow 中使用 keras API。

谢谢。

Answer 1

到目前为止，如果您使用 edgeTPU 编译器 (https://coral.ai/docs/edgetpu/compiler/) 编译 CPU TFLite 模型，那么编译器会尝试仅在 TPU 上映射操作（只要 TPU 支持这些操作）

Edge TPU 编译器不能对模型进行多次分区，并且一旦发生不受支持的操作，该操作以及它在 CPU 上执行之后的所有内容，即使支持的操作稍后发生。

因此，目前将单个 TFLite 模型划分为 CPU、GPU 和 TPU 是不可行的。