1.芯片型号:X5
2.问题定位:模型转换
3.问题具体描述:量化精度损失指标是怎么计算的?通常评估模型的量化精度是看 PTQ 量化中(hb_mapper makertbin)打印的 Cosine Similarity 指标值吗?从 HMCT 源码中看,这似乎是选取 get_data() 默认返回的首张校准图上的一致性检查值,也就是只看了一张图片的量化精度?
1.芯片型号:X5
2.问题定位:模型转换
3.问题具体描述:量化精度损失指标是怎么计算的?通常评估模型的量化精度是看 PTQ 量化中(hb_mapper makertbin)打印的 Cosine Similarity 指标值吗?从 HMCT 源码中看,这似乎是选取 get_data() 默认返回的首张校准图上的一致性检查值,也就是只看了一张图片的量化精度?
结论:这个 Cosine Similarity 是节点级的量化误差度量——浮点节点输出向量与量化后节点输出向量的余弦相似度(越接近 1 误差越小),用来给节点排序找量化敏感层,不是整网的任务精度指标;把它当作"模型量化后精度掉了多少"会失真。且转换阶段工具手里只有校准数据,日志里的相似度只能在(部分)校准图上算,你的验证集此时还没参与,所以样本量小是必然的。
两点建议:
*_quantized_model.onnx,对比 *_original_float_model.onnx 的任务指标(mAP/top1 等),注意 HzPreprocess 与 input_offset:from horizon_tc_ui import HB_ONNXRuntime
sess = HB_ONNXRuntime(model_file='xxx_quantized_model.onnx')
# 图像输入(uint8):input_offset=128;featuremap(float32):改用 run_feature(input_offset=0)
outputs = sess.run(output_names, feed_dict, input_offset=128)
hb_model_verifier 校验 quantized.onnx 与 .bin 输出一致性(至少小数点后 2–3 位对齐),排除编译环节引入的偏差。debug_mode: "dump_calibration_data" 保存校准数据):hmct-debugger get-sensitivity-of-nodes calibrated_model.onnx calibration_data -n node -d 50
-d 可取到校准数据总数;口径与用法见 6.2.12 精度 debug 工具。若多张样本下排序稳定,再考虑对高敏感层配 int16 或转 QAT。
你在源码里看到一致性检查用 get_data() 默认返回的首张图,这个观察本身合理;但日志里那个值在你这版工具里到底取几张、怎么聚合,属于实现细节,随版本可能变,建议以你环境里 hb_mapper 版本的日志/实现为准,不要拿它当精度验收标准。
你现在这个模型是什么任务,quantized.onnx 在完整验证集上的指标和浮点模型对比过吗?