[RDK X5] 模型量化后calibrated_model精度正常，但是quantized_model的精度损失非常大

xzlancer · 2025 年12 月 5 日 02:25

这个情况有什么可能的原因吗？original_float_model和optimized_float_model都验证过和原本的onnx一致了

xzlancer · 2025 年12 月 5 日 02:34

在编译的日志里有一些find illegal threshold的warning，我看onnx里这些层的threshold被设置成1了，这个是否有影响？

Marcelo · 2025 年12 月 5 日 03:45

您好，关于 quantized_model 精度损失严重的问题，建议参考以下排查思路。

首先，请附上完整的编译 Log 文件和 YAML 配置文件，我们需要查看具体的层结构和报错上下文。

针对您提到的 “find illegal threshold warning”，这很可能是问题的核心原因：

现象分析：如果日志提示 threshold 非法并强置为 1，说明校准步骤未能正确统计到该层激活值的分布范围。
后果：虽然 calibrated_model 看起来正常，但一旦转为真正的 quantized_model（Int8），错误的 Scale/Threshold 会导致该层数值完全失真，从而导致精度崩塌。
排查校准数据：请检查您的校准数据集是否覆盖了该模型的典型输入场景，或者是否存在预处理不匹配的问题。

通用的精度排查标准流程（建议按此步骤操作）：

建立 Baseline（基于 ONNXRuntime） 编写 Python 脚本使用原生 ONNXRuntime 推理原始浮点 ONNX，确保前后处理逻辑正确，以此作为精度对齐的基准。
排除前处理干扰（关键步骤） 在 yaml配置中，暂时将输入类型配置为 NCHW (FeatureMap 模式)，并设置 no_preprocess。
- 这样编译出的模型不包含任何硬件前处理（Resize/NV12转RGB等），输入数据必须是已经处理好的 Float32 数据。
- 目的：保证输入给模型的数据与第一步中的浮点模型完全一致。
使用 HB_ONNXRuntime 验证 Quantized ONNX 在开发机上，使用地瓜工具链提供的 hb_onnxruntime 加载 quantized_model.onnx 进行推理。
前处理加速 只有 quantized_model 符合预期后，才会考虑在 yaml 中加入 NV12/RGB 等硬件加速相关的配置，进行前处理加速。