根据文档,量化时会显示量化后模型的逐层余弦相似度。
但是,我在量化vision encoder时,这一列却无法计算,而是只有最后一层,根据输出,应该是中间层的shape不对应,后面2个通道反了。
你好,收到您的问题,这块的话估计问题是出现在onnx文件上面,可以先提供一下当前使用的工具链版本
ai_toolchain_ubuntu_22_s100_gpu_v3.2.0
需要先使用公版的onnxruntime=1.16.3对原始onnx模型进行推理确定原始onnx模型为合法的
导出时就已经推理过了,和torch模型进行对比了,结果相同