whaaj
1
Q1. 关于 hrt_model_exec, X3M 系统镜像 20220611 与 OpenExplorer v2.2.3中都有包含,请问应该使用哪个版本?
Q2. hrt_model_exec perf 的参数说明-
a) frame_count=N, 代表做 N 次推理,所以结果是基于N 次推理的min/max/mean?-
b) thread_num=1, 代表单线程处理(CPU)执行N次推理吗?
Q3. hrt_model_exec perf 输出结果的说明
a) Thread latency 指的是 从何时到何时的延迟?
b) Average latency 指的是 thread latency N 次的均值吗?
Q4. 能否查看 hrt_model_exec perf 的源代码,以便更好的理解此工具,以用于模型的合理预估。
Q5. hrt_model_exec perf 与 ai_benchmark 在板端测试性能,从设计目的上,使用场景有哪些不同?
颜值即正义
2
你好,答复如下:-
Q1:请使用工具链 OpenExplorer 中提供的版本
Q2:
a)frame_count=N 统计出来的结果就是对 N 次推理结果的整体统计;
b)thread_num=1代表单线程;
补充:直接在版本执行 hrt_model_exec 工具,就能看到它的 help 说明
Q3:
a)Thread latecny表示整个模型 run_model的延时,延时的统计只有在单核(core_id=1/2)单线程(thread_num=1)时才有意义;另外你也可以在执行时增加 --profile_path ./ 参数,运行完会有一个 log文件生成在指定的路径,里面会有更加详细的耗时数据
b)是-
Q4:目前暂不开放,其实我们就是基于最简单的逻辑是实现的,和自己写推理接口实现是一样的;
Q5:hrt_model_exec 是基于静态库预编译好的可执行文件,其定位是一个快捷工具,能够让用户 no coding 地完成模型的性能测试;而 AI-Benchmark 则是完整的代码示例