关于一些硬件和软件功能的理解问题

硬件问题:-
1,看到有0–31路的编解码通道,这个我想问的是:这32个编解码通道是能同时并发处理编码和解码操作,还是说一共有32路编码硬件资源通道,以及32路硬件解码资源通道。但是在实际使用中,使用C++代码编写多线程并发处理时,并不能在解码时并发32路解码操作,并发数不能到32路?编码时是否也是并发编码操作实际通道处理数不能达到32路?如果不能并发到32路,那么实际最高并发处理能到多少路?

2,看到有说明能同时解码8路200万像素的视频流,这个我这边使用16口的全千兆交换机,网络摄像头使用一般的海康威视的200万网络摄像机提RTSP视频流,那么,我想问的是:如果同时8路RTSP视频流通过开发板上的千兆网口进入,不知道这个网络速度是否能满足8路数据的同时输入?如果不能的话,最多能同时输入多少路200万的RTSP视频流?如果满足的话,这个网口还能剩下多少带宽给其他程序功能通讯使用?

3,看到有2路的BPU核心处理能力,那个模式有3种,一种是多线程单帧双核,这里,既然是单帧,应该是每次只能把一帧图像的NV12数据送到一个BPU核心进行处理,那么,单帧双核从逻辑上是怎样去理解?还是说一个BPU核心拿到NV12数据后,自动和另一个BPU核心进行数据的分配调度,然后两个BPU核心处理完后,又自动将处理结果合并一起,通过一个BPU核心输出AI处理结果数据?或者是在送入视频图像像素数据的时候,就自动分配两部分数据同时进入两个BPU核心,然后同时处理,并在处理完成后将结果数据进行合并输出,或者是不合并处理结果,直接通过两个BPU核心同时输出各自的结果数据?最后,这个多线程单帧不知道如何理解?因为单帧就是一帧图像数据,那么又如何涉及到多线程处理呢?

4,X3 提供 HDMI 和 LCD 两个可视化接口,其中 HDMI 由 BT1120 通过龙讯 LT8618EX 转换输出,目前支持 1920X1080P。带触摸功能的 LCD 会有两个接口,一个是 6P 连接器用于连接触摸 FPC 线,另一个是 31P 用于MIPI DSI 信号传输传输。目前可支持 5 寸带触摸 720X1280P 的 LCD 屏。这里,我想问的是LCD目前最大只支持720X1280P 的 LCD 屏吗?还是说可以支持更高的比如1920x1080P的LCD屏?另外,那个触摸接口,是否也只支持720X1280P 的 像素分辨率?还是说只要接口对接没有问题,还能支持更高的分辨率比如1920x1080P?最后,如果我显示的时候通过HDMI接口外接一个显示屏,但是我在触摸接口单独接一个触摸屏,这样的操作不知道是否支持?

软件问题:-
1,函数sp_start_display创建一个显示通道,旭日X3支持4个通道,2个视频层,2个图形层。支持的最大分辨率为 1920 x 1080, 最大帧率 60fps。这里,通道0给系统桌面显示使用,通道1给程序调用函数sp_display_set_image显示图像。那么通道2和3都是图形层,这两个层在使用上有没有区别?在给显示模块的图形层上绘制矩形框调用函数sp_display_draw_rect,以及在显示模块的图形层绘制矩形框绘制字符串(需要是GB2312编码)调用函数sp_display_draw_string,这里的chn 显示输出层,是否可以同时设置为2或3,还是说一个只能设置为2,另一个设置为3?还是说有其他的限制条件?

2,在进行BPU推理的时候,模型输入比如是512x512,而摄像头采集的图像是1920x1080P的,我看到有解释说直接将1920x1080P的图像resize到512x512就可以了,然后将这个512x512的图像数据送进去推理就可以获得准确的AI结果。那么,我想问的是,如果我从1920x1080P的图像数据中抠图一个区域为512x512的数据区域,然后把这个区域的图像数据送进去推理,是否能获得更高精度的AI推理结果,因为此时没有压缩的图像中目标要比压缩后的图像中的目标要大一些,宽高比例也更合理一些,比如人体节点的提取,是否这个提取的坐标准确度更高一些,比那个直接将1920x1080P的图像resize到512x512然后送进去推理获得的人体节点的坐标的准确度高一些?说到底,我就是没有明白将图像宽高压缩比例后送入推理,和将图像宽高比例不变送入推理,这两种方法哪一种的准确度和精度更高一些,抗干扰度更高一些?

你们好,那个我在下面回复了几个问题,不知道你们的技术支持有没有时间帮助解答一二,非常感谢!

  1. 2. 你好,编解码有上限,可以参考我们的手册说明,最大可达到4K30帧,其他的码率可以换算,目前有用户做了八路的视频流推理

3. 双核推理,内部进行调度,双核同时计算,不需要进行额外操作

4. X3派的LCD显示后面会取消,统一使用hdmi接口

软件:2

抠图数据不一定包含目标,如果目标在抠图数据之外,就会漏检,两种准确度和算法的训令方式有关,训练方式和推理方式同步,就可以保证较好的精度

那个我这里的抠图是能确保目标在区域内,只是不想把区域外的像素也送进去处理,以便节省处理资源和时间,所以才想问问这个使用原始图像的数据进行比例缩小后来处理,和直接把目标所在区域按照一定大小进行抠图后,保持目标大小比例不变的情况下进行处理,这样两种方式,在识别准确度和精度上是不是有区别?

对于3. 双核推理,内部进行调度,双核同时计算,不需要进行额外操作。这个在代码上有没有需要处理的地方?因为我在一些帮助资源中看到建议多线程处理时,一般设置线程数不超过4,即不超过CPU核心数量。

另外,我以前在资源文档中看到有C++的代码例子,有一个例子是通过RTSP拉流进行解码显示,然后进行编码保存文件为H265的格式的一个代码例子,只是现在我找遍了全部能看到的资源文档,都没有看到C++方面的例子代码注释说明资料,不知道这些C++例子代码的资料去哪儿寻找,多谢了!

对于抠图和全图进行处理,我是这样理解的,比如一个1920x1080P的图像,当压缩到512x512像素的时候,图像中的目标在缩小的同时,宽高比例也被改变了,相当于目标变形了,这样的图像数据送进去识别的话,结果的准确度和精度是否会变小。那么,我已经知道1920x1080P的图像中目标所在的区域,并且区域宽度和高度都小于512,因此,当我直接把目标所在区域通过抠图抠出来512x512像素的图像区域后,此时,图像中的目标大小和宽度高度比例都保持不变,即目标没有变形,尺度也没有缩小,此时,将这个图像数据送进去识别处理的话,获得的结果的准确度和精度是否都是最佳的数据?是不是比原始图像直接压缩变形后的处理结果要好一些?

你好,如您训练的时候采用的也是抠图,则推理保持抠图会有较好的效果,否则建议使用原图进行推理

你好,目前没有完全开放,预计6月份会开放相关资料