用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~
1.芯片型号:J5
2.天工开物开发包OpenExplorer版本:J5_OE_1.1.37
3.问题定位:Swin-T 算法算子分配及耗时
4.问题具体描述:如何查询Swin-T算法算子在CPU,GPU上的分配及耗时情况。
用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~
1.芯片型号:J5
2.天工开物开发包OpenExplorer版本:J5_OE_1.1.37
3.问题定位:Swin-T 算法算子分配及耗时
4.问题具体描述:如何查询Swin-T算法算子在CPU,GPU上的分配及耗时情况。
您好,地平线OE开发包下的ddk/samples/ai_toolchain/horizon_model_train_sample/scripts/configs/classification/horizon_swin_transformer.py参考算法经过我们的工具链优化后,所有的算子都可以实现在J5板子上的BPU加速,相关细节可以参考https://developer.horizon.ai/forumDetail/146176813180295310
我的意思是能否通过什么指令或者生成的日志查看算子在CPU,GPU上的分配及耗时情况。
在板端运行hrt_model_exec perf工具,然后在生成的profile.log中来查看模型在cpu、bpu上的运行耗时,工具使用教程请参考-
https://developer.horizon.ai/api/v1/fileData/horizon\_j5\_open\_explorer\_cn\_doc/runtime/source/tool\_introduction/source/hrt\_model\_exec.html?highlight=hrt
这个我看到了,有没有什么命令可以看到哪些算子在CPU上运行,哪些算子在GPU上运行,类似于hb_mapper checker,另外还有一个问题,https://developer.horizon.ai/forumDetail/146176813180295310这篇文章中,端侧最强GPU指的是什么,A100吗?还是其他的?
您好,暂时没有命令可以查看哪些算子在CPU上运行,哪些算子在BPU上运行。QAT编译出来的hbm模型就是纯BPU模型,在编译hbm模型时会生成预估性能的html,这里会包含bpu算子的耗时估计。另外端侧最强的GPU指的是orin