用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~
1.芯片型号:J5
2.天工开物开发包OpenExplorer版本:J5_OE_1.1.62
3.问题定位:板端部署
4.问题具体描述:在模型板端部署过程中,模型的输入数据类型为featuremap,因此执行模型推理前,需要对输入数据进行量化。量化数据需要使用tensor.properties.scale.scaleData,但是该指针为空,无法正常进行数据量化,程序运行coredown。请问应该解决这个问题?谢谢!
用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~
1.芯片型号:J5
2.天工开物开发包OpenExplorer版本:J5_OE_1.1.62
3.问题定位:板端部署
4.问题具体描述:在模型板端部署过程中,模型的输入数据类型为featuremap,因此执行模型推理前,需要对输入数据进行量化。量化数据需要使用tensor.properties.scale.scaleData,但是该指针为空,无法正常进行数据量化,程序运行coredown。请问应该解决这个问题?谢谢!
您好。请提供以下内容,我们好做进一步判断:
1、是什么模型?
2、模型来源是哪,由OE参考算法导出?还是自己的浮点模型通过PTQ或者QAT编译的?
3、请在板端运行hrt_model_exec model_info --mdoel_file model.bin或model.hbm,并提供输入侧的信息截图
4、板端运行hrt_model_exec perf --model_file model.bin或model.hbm,查看是否可以使用这个板端工具运行模型。
你好,这是一个两输入单输出的模型,模型输入输入类型为featurmap。模型是通过PTQ编译的,板上使用这两个命令的运行结果:
hrt_model_exec perf 命令结果:
hrt_model_exec model_info 命令结果:
您好,图中显示quanti type是NONE,是不是意味这不需要对输入数据进行量化直接输入到input_tensor中。但这么做的时候模型的输出不正确,这是为什么?请问要怎么做才能使模型的输出是正确的?
能执行perf,说明模型本身没问题,model_info查看出输入侧量化值为none,可能是因为模型内部的初始节点为量化节点,因此不需要在代码中再次做量化,直接给模型浮点数据即可。
hrt_model_exec工具还可以进行infer模式的单次推理,且能配置enable_dump保存输出结果,可以试一下用hrt工具能不能正常推理出模型的正确结果。另外,可以对照horizon_runtime_sample,ai_benchmark,hrt_model_exec等示例源码,比较自己的代码是否有写错的地方。
好的,谢谢!问题已经解决了。