[模型推理][RDK X3]摄像头在线推理结果与离线视频推理结果不一致

使用pytorch训练了一个分类模型,通过onnx进行X3板端.bin模型编译,编译时设置input_source为resizer,参照roi_infer的例程进行推理代码的编写,使用imx219摄像头数据作为在线数据输入进行推理,设置了4个roi推理区域,发现有一个roi推理结果不正确,将实时摄像头数据使用H264编码保存下来,在切换推理输入为保存的离线视频数据,发现推理结果正确。这个问题应该怎么排查?

  1. 使用编译过程中生成的”*_quantized_model.onnx“和“*_original_float_model.onnx”推理过同样的图片数据,模型精度没有太大变化,在线推理出错的区域是能正确推理出来的

本地视频推理正确说明模型本身不存在问题, 问题应该是出现在数据预处理流程ROI区域配置 上, 根据你的描述,我怀疑是:NV12格式下ROI区域提取时的坐标计算问题 ,特别是UV平面的处理。

roi提取是调用api进行处理的,使用的是hbDNNRoiInfer()这个api

顺便问一下,当.bin模型有多个输出头时,执行推理之后输出头的顺序固定吗?

应该是固定的,可以打印output的shape确认一下