Xavier上pytorch半精度inference问题

1、如果是通道数比较少的网络结构，比如32-64之间，那么这个网络，全精度和半精度，速度差别不会很大，半精度会稍微快个20%的样子。

2、如果是通道数比较多的网络结构，比如256-512之间，那么这个网络，全精度和半精度，速度差别会比较明显，半精度是全精度速度的四倍。

3、另外batch_size的影响不大。

4、增加通道数，全精度inference的时间变化比较大，半精度inference的时间变化比较小。