既然地平线不建议在模型内部用concat操作,那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢?

用户您好,请详细描述您所遇到的问题。

1.硬件获取渠道:天准

2.当前系统镜像版本:Linux version 5.10.59-rt52-00006-g301b1d863c98-dirty (rex@rex) #6 SMP PREEMPT_RT Tue Feb 28 16:25:17 CST 2023 tztek_version: [soft:v1.0.3, type:release]

3.当前天工开物版本:1.1.52a

4.问题定位:

既然地平线不建议在模型内部用concat操作,那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢?

5.开发的demo/案例:

6.需要提供的解决方案:

既然地平线不建议在模型内部用concat操作,那么多路camera图像作为输入的时候。如何实现pym的图直接给到bpu做推理呢?

5.开发的demo/案例:

还有就是,针对多路摄像头输入,走金字塔的话,在准备数据时根据aligned shape准备两块内存,然后把多路数据,Y分量放到一起,UV分量放到一起即可完成数据准备,这么做是不需要进行concat的呀~

可以参考下这张图,J3最多支持8路pipeline,j5最多支持16路pipeline。

你好,并不是说concat算子不能用在模型里哈,关于concat到底会带来多少的性能损失,建议先测性能看一下,如果影响较小,也是很ok的。

另外,关于从金字塔输入的数据如何进BPU,欢迎看一下这篇文章:https://developer.horizon.ai/forumDetail/118363921378870162

pym_data会存放进内存中,可供推理使用,APP0/1/2相当于模型推理的相关程序。

你好,

如果concat算子用在模型里带来多少的性能损失比较大。

请问有什么好的方法在模型外面实现concat,并且能兼顾计算效率呢?

谢谢

重新梳理一下哈,在模型里面,你的concat算子,是无法运行在BPU上是嘛?

您可以先在模型内部用concat,然后测一下性能看看能不能接受