如何将 TensorFlow Lite 模型量化为 16 位答案

【问题标题】：How to quantize TensorFlow Lite model to 16-bit如何将 TensorFlow Lite 模型量化为 16 位
【发布时间】：2017-12-28 03:42:25
【问题描述】：

以下代码 sn-p 创建一个 8 位量化的 TF Lite 模型，并将 QUANTIZED_UINT8 替换为 FLOAT 创建一个 32 位模型。是否有任何标志可以创建 16 位量化模型？我搜索了 TF Lite 文档，但在可能的标志列表中找不到任何文档。有人知道怎么做吗？

~/tensorflow/bazel-bin/tensorflow/contrib/lite/toco/toco \
  --input_file=$(pwd)/model.pb \
  --input_format=TENSORFLOW_GRAPHDEF \
  --output_format=TFLITE \
  --output_file=$(pwd)/model.lite --inference_type=QUANTIZED_UINT8 \
  --input_type=QUANTIZED_UINT8 --input_arrays=conv2d_1_input \
  --default_ranges_min=0.0 --default_ranges_max=1.0 \
  --output_arrays=average_pooling2d_2/AvgPool --input_shapes=1024,32,32,2

【问题讨论】：

标签： tensorflow neural-network quantization tensorflow-lite

【解决方案1】：

目前，TFLite 唯一支持 8 位的量化类型。见这里：https://github.com/tensorflow/tensorflow/blob/54b62eed204fbc4e155fbf934bee9b438bb391ef/tensorflow/lite/toco/types.proto#L27

这是因为，对于现有的量化模型，发现 8 位就足够了，但这可能会改变。如果您的模型需要更多位进行量化，则可能值得创建一个 TensorFlow 问题来描述您的用例。

【讨论】：