resnet模型浮点量化精度问题

resnet模型 浮点量化,无论max kl 还是per channel方法, 在conv115这层都会严重掉点,这一层模型和其他层结构上没有什么不同,为什么会突然出现掉点的问题,请问应该如何解决这个问题

用户您好,请详细描述您所遇到的问题。

1.硬件获取渠道:

2.当前系统镜像版本:

3.当前天工开物版本:

4.问题定位:

5.开发的demo/案例:

6.需要提供的解决方案:

Screenshot2022-10-27161940_20221027162407.png

您好,Cosine Similarity只是指明量化后数据稳定性的一种参考方式,对于模型精度的影响不存在明显的直接关联关系,请问您通过转换得到的quantized.onnx模型精度怎么样呢?

没测试onnx ,上板测试bin结果精度下降很严重

待我测试一下

建议您参考这篇文章对onnx模型进行精度验证:https://developer.horizon.ai/forumDetail/71036815603174578

实测模型才是最真实的精度验证哈~