【发布时间】:2018-03-02 01:31:47
【问题描述】:
转换后的tensorflow lite模型是否总是有量化的计算和输出? 还是取决于tensorflow模型的输入和推理类型?
【问题讨论】:
标签: tensorflow quantization tensorflow-lite
转换后的tensorflow lite模型是否总是有量化的计算和输出? 还是取决于tensorflow模型的输入和推理类型?
【问题讨论】:
标签: tensorflow quantization tensorflow-lite
这取决于推理类型。
首先,输入模型应配备量化操作,https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize 可以对此有所帮助。
应将生成的评估图提供给 TOCO 以使用 --inference_type=QUANTIZED_UINT8 以及输入数组的正确 --mean_values 和 --std_values 进行转换。
有关如何为量化模型调用 TOCO 的一些示例,请参阅 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/g3doc/cmdline_examples.md。
更新:我们添加了一个新的训练后量化工具:https://medium.com/tensorflow/tensorflow-model-optimization-toolkit-post-training-integer-quantization-b4964a1ea9ba,它应该比旧的量化方法更容易。
【讨论】:
mean_values和std_values?