resnet模型 浮点量化,无论max kl 还是per channel方法, 在conv115这层都会严重掉点,这一层模型和其他层结构上没有什么不同,为什么会突然出现掉点的问题,请问应该如何解决这个问题
用户您好,请详细描述您所遇到的问题。
1.硬件获取渠道:
2.当前系统镜像版本:
3.当前天工开物版本:
4.问题定位:
5.开发的demo/案例:
6.需要提供的解决方案:
resnet模型 浮点量化,无论max kl 还是per channel方法, 在conv115这层都会严重掉点,这一层模型和其他层结构上没有什么不同,为什么会突然出现掉点的问题,请问应该如何解决这个问题
用户您好,请详细描述您所遇到的问题。
1.硬件获取渠道:
2.当前系统镜像版本:
3.当前天工开物版本:
4.问题定位:
5.开发的demo/案例:
6.需要提供的解决方案:
您好,Cosine Similarity只是指明量化后数据稳定性的一种参考方式,对于模型精度的影响不存在明显的直接关联关系,请问您通过转换得到的quantized.onnx模型精度怎么样呢?
没测试onnx ,上板测试bin结果精度下降很严重
待我测试一下
建议您参考这篇文章对onnx模型进行精度验证:https://developer.horizon.ai/forumDetail/71036815603174578
实测模型才是最真实的精度验证哈~