数据量化错误

用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~

1.芯片型号:J5

2.天工开物开发包OpenExplorer版本:J5_OE_1.1.62

3.问题定位:板端部署

4.问题具体描述:在模型板端部署过程中,模型的输入数据类型为featuremap,因此执行模型推理前,需要对输入数据进行量化。量化数据需要使用tensor.properties.scale.scaleData,但是该指针为空,无法正常进行数据量化,程序运行coredown。请问应该解决这个问题?谢谢!

您好。请提供以下内容,我们好做进一步判断:

1、是什么模型?

2、模型来源是哪,由OE参考算法导出?还是自己的浮点模型通过PTQ或者QAT编译的?

3、请在板端运行hrt_model_exec model_info --mdoel_file model.bin或model.hbm,并提供输入侧的信息截图

4、板端运行hrt_model_exec perf --model_file model.bin或model.hbm,查看是否可以使用这个板端工具运行模型。

你好,这是一个两输入单输出的模型,模型输入输入类型为featurmap。模型是通过PTQ编译的,板上使用这两个命令的运行结果:

hrt_model_exec perf 命令结果:

hrt_model_exec model_info 命令结果:

您好,图中显示quanti type是NONE,是不是意味这不需要对输入数据进行量化直接输入到input_tensor中。但这么做的时候模型的输出不正确,这是为什么?请问要怎么做才能使模型的输出是正确的?

能执行perf,说明模型本身没问题,model_info查看出输入侧量化值为none,可能是因为模型内部的初始节点为量化节点,因此不需要在代码中再次做量化,直接给模型浮点数据即可。

hrt_model_exec工具还可以进行infer模式的单次推理,且能配置enable_dump保存输出结果,可以试一下用hrt工具能不能正常推理出模型的正确结果。另外,可以对照horizon_runtime_sample,ai_benchmark,hrt_model_exec等示例源码,比较自己的代码是否有写错的地方。

好的,谢谢!问题已经解决了。