我参考X5工具链的的用户手册5.3快速入门入门,得到了model.hbm。文档中只介绍了,hbm是可以直接部署的模型,但是我找了文档没有介绍板端推理的命令,我使用RDK X5系统中的hrt_model_exec perf 对hbm模型perf也报错了。请问qat得到的hbm模型如何进行推理,或者相关资料和示例可以在哪里参考呀。
如果perf不起来,说明hbm本身非法。非专业人员不建议使用QAT,PTQ能覆盖绝大多数的使用场景
1 个赞
您好!我是按照用户手册得到的5.3快速入门中的代码得到的hbm,想了解一下如何在板端推理一下这个模型,不太清楚如何进行
请参考手册的runtime开发指南