模型量化编译时,无法显示量化后模型的逐层余弦相似度

根据文档,量化时会显示量化后模型的逐层余弦相似度。


但是,我在量化vision encoder时,这一列却无法计算,而是只有最后一层,根据输出,应该是中间层的shape不对应,后面2个通道反了。

你好,收到您的问题,这块的话估计问题是出现在onnx文件上面,可以先提供一下当前使用的工具链版本

ai_toolchain_ubuntu_22_s100_gpu_v3.2.0

需要先使用公版的onnxruntime=1.16.3对原始onnx模型进行推理确定原始onnx模型为合法的

模型精度验证及调优建议 - 应用开发 / 算法工具链 - 地瓜机器人论坛

导出时就已经推理过了,和torch模型进行对比了,结果相同