图像resize问题咨询(hbDNNResize/VPS)

你好:

在使用图像resize时,有以下情况和问题,请求咨询:

1、我们板端需要跑多个AI模型,每个模型的输入size不同。上层(即AV媒体层)传来的YUV图是1080P,我们就需要resize到各个模型的大小。

我们阅读了文档,调用了 hbDNNResize 接口。单独测试该接口,从1080P resize到832*480,耗时在4-5ms,表现可以。但是当板子系统整体启动后,resize耗时跳变,最大耗时有20ms。我们推测,系统整体跑起来后,可能底层资源有竞争或者等待,导致耗时较大。

(1)上述这个推测是否是对的?

(2)hbDNNResize接口,看是放在 BPU SDK API文档中,这是否意味着该接口底层走的是BPU资源做resize?

(3)看到有 hbDNNRoiInfer 接口,可从大图抠roi缩放到指定大小。这里缩放用的resizer是加速硬件模块,这个resizer和BPU是什么关系?和hbDNNResize底层资源是一样的吗?

2、咨询了地平线技术服务人员(微信群),建议我们用“硬件金字塔”来做resize。

看了媒体系统接口手册.pdf,发现“硬件金字塔”出现在VPS模块。

有以下问题咨询:

(1)我们主要是从1080P缩小到832*576/256*256,是走IPU好,还是PYM好?这2个硬件哪里能力更好些?感觉PYM缩放有限制某些分辨率不行的。

(2)IPU:是否是单独的专用于图像处理的硬件?和BPU的resize有什么区别呢?

(3)VPS的group,文档提到最多创建8个。这8个是说在一个进程内最大创建8个?还是按板子整体系统算(比如A进程创4个,B进程最多只能创4个)?

(4)我们咨询了我司AV媒体层同事,他们上层已经用了VPS资源,group id号用的0 2 3 4 5。那我们跑AI算法模型时做resize,使用group id(7)就是可以的吗?

(5)这样做是否推荐:即AV媒体层用VPS,然后我们AI这边也去用VPS。之所以这样问,是看了媒体手册文档,感觉VPS是比较专门针对于媒体业务,即从sensor图像-ISP处理-VPS处理-给到后续。我们AI这么去用一下子,是否会干扰上层AV媒体层?

以上问题,盼解答。

您好。工具链的BPU SDK API手册中并没有hbDNNResize这个接口,请问您指的是哪个功能呢?

resizer是一个和resize有关的硬件,BPU是专用于计算神经网络的计算单元,类似GPU/NPU。

关于resizer和hbDNNRoiInfer,可以查看社区文章:resizer模型使用与部署 (horizon.ai)

嗯嗯,这个文档我之前看了,就是从这里看到了resizer。这个了解啦,谢谢。

==========================================================

resizer是一个和resize有关的硬件,BPU是专用于计算神经网络的计算单元,类似GPU/NPU。关于resizer和hbDNNRoiInfer,可以查看社区文章:resizer模型使用与部署 (horizon.ai)

dnn\include\dnn\hb_dnn.h:

好的,我一开始以为是J5的问题,J5确实没有,XJ3有这个接口。hbDNNReisze不是BPU做的,调用的resizer硬件。