SageMaker Neo 编译 - 无法为 FP16 和 INT8 精度进行 Neo 编译答案

【问题标题】：SageMaker Neo Compilation - Unable to Neo Compile for FP16 and INT8 precisionSageMaker Neo 编译 - 无法为 FP16 和 INT8 精度进行 Neo 编译
【发布时间】：2022-11-09 16:49:33
【问题描述】：

我正在尝试 Neo 编译 Pytorch YoloV5 大型模型，以便在 Nvidia Jetson Xavier NX 设备上进行边缘部署。我可以使用 FP32 精度的默认设置来做到这一点，但我无法做到 FP16 或 INT8 精度。我尝试在OutputConfig 的“CompilerOptions”中传递它，但 Neo 编译的输出仍然是 FP32。

Neo 如何编译 FP16 和 INT8 精度的模型？

【问题讨论】：

标签： amazon-web-services amazon-sagemaker amazon-sagemaker-compilers

【解决方案1】：

Received a response from an AWS source

“很遗憾，Neo 不支持 Jetson Devices 的量化。这意味着您只能编译 FP32 模型，编译后它们将是 FP32。

我知道这不是您要寻找的，但仅供参考，Neo 仅支持 TFLite 的 int8 模型优化，并且针对 CPU 而不是 GPU。在此处查看一些支持的型号：https://docs.amazonaws.cn/en_us/sagemaker/latest/dg/neo-supported-edge-tested-models.html"

【讨论】：