开源作者你们好:
我在使用算法工具链进行转模型时,core_num设置为2,在模型转换完后,利用hrt_model_exec perf --core_id=0 --thread_num=2的验证条件下得到一个可观的FPS指标,请问我在实际板端cpp部署时,代码里需要配置哪些参数(或者是推理代码如何写)可达到 --core_id=0 --thread_num=2这样的推理效率?感谢解答!
开源作者你们好:
我在使用算法工具链进行转模型时,core_num设置为2,在模型转换完后,利用hrt_model_exec perf --core_id=0 --thread_num=2的验证条件下得到一个可观的FPS指标,请问我在实际板端cpp部署时,代码里需要配置哪些参数(或者是推理代码如何写)可达到 --core_id=0 --thread_num=2这样的推理效率?感谢解答!
您好,工具链的hrt_model_exec的源码是公开的,可以参考该工具的具体实现去编写部署程序。
代码位于:ddk/package/board/hrt_tools/src/hrt_model_exec
您好,没有看到开源代码,只有可执行文件。
抱歉,刚确认了一下,XJ3的hrt_model_exec源码暂时还没有开源,但我们已经在推动了,预计下次XJ3工具链版本更新的时候能开源代码,顺利的话6月内就可以。
目前我们J5工具链的hrt_model_exec是已经开源的,可以下载OE包进行参考,但由于J5不支持core_num=2的模式,所以代码写起来会有区别。
还想问一下,如果是core_num=2的情况下转的bin模型,是不是用多线程推理更加合理一些?
多线程是会比单线程运行效率更高的
地平线 XJ3 芯片工具链 版本发布及Filezilla使用教程 (horizon.ai)
2.6.2版本已提供hrt工具的源码
非常感谢