[板端推理][模型评测][BPU]

板子型号:RDK Ultra

板子有两块bpu(bpu0和bpu1),

我现在想评测一下模型在bpu上的运行耗时

执行的是sh latency.sh指令,默认在bpu0上运行

请问,如何指定模型在bpu1上运行呢?

bpu0和bpu1上的算力分别是多少呀?

麻烦再问一下,使用hrt_model_exec infer这条指令测模型性能和执行对应模型路径下的sh latency.sh指令。这两种方法的主要区别是啥呢?我看结果好像并没有太大差异

你好,sh脚本本质上是一条条运行Linux命令,这部分都是公开的,通用的Linux操作系统的知识,在RDK板卡上并没有什么不同地方。可以搜索“通义千问”,大模型会告诉你两者的区别,而且可以一直询问。

你自己看看你们的 latency.sh里面写清楚了么?就几条指定路径的指令。问的问题一个不回答,在你的板子上指定bpu运行也是Linux基础知识?两个BPU各自的算力分布大模型也知道?不想干可以不干,不想回复可以不回复,而不是在这阴阳怪气。你这态度就代表官方态度么?

你好,RDK Ultra的工具链手册在社区的链接是:https://developer.d-robotics.cc/api/v1/fileData/horizon\_j5\_open\_explorer\_cn\_doc/index.html-

J5和Ultra的BPU同为Bayes架构,所以工具链手册是一致的。

latency.sh如果调用的是hrt_*工具,那么查看hrt_*工具的使用说明就好了,也可以直接使用-h来看这个工具的可接受参数,这些打印日志可以直接去询问大模型,这个是有的。如果这个脚本是调用编译好的二进制程序,这个程序的源码在OE包里面也是有的,源码里面指定BPU是通过libDNN接口的API控制,这部分在手册的嵌入式Runtime指南中是有详细介绍的。

这部分内容是比较深入的,所以我向你介绍了“通义千问“的大模型,来帮助你一步步深入探索,希望您可以在探索的过程中不断进步,获取您想要的知识。大量的实践表明,这些内容一个普通的本科生大学生都可以轻松的学会探索明白,相信您也一定可以获得您想获得的内容。