RDK X5上模型量化精度疑问

1.芯片型号:X5

2.问题定位:模型转换

3.问题具体描述:量化精度损失指标是怎么计算的?通常评估模型的量化精度是看 PTQ 量化中(hb_mapper makertbin)打印的 Cosine Similarity 指标值吗?从 HMCT 源码中看,这似乎是选取 get_data() 默认返回的首张校准图上的一致性检查值,也就是只看了一张图片的量化精度?

结论:这个 Cosine Similarity 是节点级的量化误差度量——浮点节点输出向量与量化后节点输出向量的余弦相似度(越接近 1 误差越小),用来给节点排序找量化敏感层,不是整网的任务精度指标;把它当作"模型量化后精度掉了多少"会失真。且转换阶段工具手里只有校准数据,日志里的相似度只能在(部分)校准图上算,你的验证集此时还没参与,所以样本量小是必然的。

两点建议:

  1. 判断量化是否可接受,走官方的逐级对比流程,关键两步:
  • 第 4 步用完整验证集跑 *_quantized_model.onnx,对比 *_original_float_model.onnx 的任务指标(mAP/top1 等),注意 HzPreprocess 与 input_offset:
from horizon_tc_ui import HB_ONNXRuntime
sess = HB_ONNXRuntime(model_file='xxx_quantized_model.onnx')
# 图像输入(uint8):input_offset=128;featuremap(float32):改用 run_feature(input_offset=0)
outputs = sess.run(output_names, feed_dict, input_offset=128)
  1. 想确认"单张偶然性",把敏感度分析的样本数调大再排序(需先在 yaml 配 debug_mode: "dump_calibration_data" 保存校准数据):
hmct-debugger get-sensitivity-of-nodes calibrated_model.onnx calibration_data -n node -d 50

-d 可取到校准数据总数;口径与用法见 6.2.12 精度 debug 工具。若多张样本下排序稳定,再考虑对高敏感层配 int16 或转 QAT。

你在源码里看到一致性检查用 get_data() 默认返回的首张图,这个观察本身合理;但日志里那个值在你这版工具里到底取几张、怎么聚合,属于实现细节,随版本可能变,建议以你环境里 hb_mapper 版本的日志/实现为准,不要拿它当精度验收标准。

你现在这个模型是什么任务,quantized.onnx 在完整验证集上的指标和浮点模型对比过吗?