双核推理时的耗时与帧率如何理解

双核帧率38.185669 FPS,单核19FPS,耗时应该是53ms,与 Average latency差太多了。正确理解应该是什么样的

双BPU核多线程并发状态下评测FPS

Running condition:

Thread number is: 8

Frame count is: 1000

Program run time: 26187.835000 ms

Perf result:

Frame totally latency is: 208419.812500 ms

Average latency is: 208.419815 ms

Frame rate is: 38.185669 FPS

感谢您使用地平线芯片算法工具链,最近我们在收集大家的满意度反馈,欢迎您填写问卷,详细情况可见:https://developer.horizon.ai/forumDetail/146177053698464782

你好,关于latency和FPS的常规理解是:单核单线程时去看latency,此时是为了去了解,模型用一个核、只起一个线程推理模型,它的延时情况,此时不需要关注FPS。双核多线程时去看FPS,此时是把资源拉满,用两个核,起多个线程,看看到底能跑多少帧。

之所以耗时和帧率没有一个确定的关系,这里面会涉及到(多核)多任务调度与优化等复杂的情况。