如何去调整预装的multitask_body_head_face_hand_kps_960x544.hbm input尺寸?

目前使用X3 RDK 2.0

系统镜像用的 官方_ubuntu20-preinstalled-desktop-arm64_2.1.0-beta_20240103.img

tros版本 2.1.3

运行 人体识别

ros2 launch mono2d_body_detection mono2d_body_detection.launch.py

输出的 input fps:30 左右 out fps30 左右,infer time ms:24ms

如果想要达到每秒 60左右的帧率,能想到的方法就是 缩小960x544 这个 inpput 尺寸,有没有方法可以实现?

之前使用 humanpose 模型:resnet18_baseline_att_224x224_A_epoch_249.pth 转 onnx 格式时,是支持 动态尺寸的,不知道multitask_body_head_face_hand_kps_960x544.hbm 有没有类似的调整尺寸的方法?

另外我使用的MIPI Camera 型号是 IMX477,是支持多种 分辨率 和帧率的,如何调整摄像头工作时的分辨率 和 帧率?

使用命令: v4l2-ctl --list-devices

输出 : juno R2(platform:isp-v4l2-0)

/dev/video0

使用命令:v4l2-ctl --device=/dev/video0 --list-formats-ext

输出: ioctl: VIDIOC_ENUM_FMT

[0]: “RGB4” (32-bit A/XRGB 8-8-8-8)

[1]: ‘BA30’ (ARGB30)

[2]: ‘NV12’

[3]: ‘META’

应该是没有识别 到 IMX477,不知道如何能识别到?驱动或者 I2C 的配置是不是需要修改?

1. 肢体关键点追踪算法的pt,onnx文件暂时不开源,已经生成的hbm文件不能修改尺寸,如果有需要我们可以帮您拉通商务和工程师来定制。-
2. mipi摄像头不是video*设备,请参考手册的相关章节,使用iic来控制。

感谢回复

使用iic来控制来控制 mipi摄像头分辨率,有相关资料的链接吗?官网资料没有看到

额,应用层直接用我们手册的多媒体接口就行了,直接用接口拿图,目前有适配几款Sensor。-

如果已经适配的Sensor不行的话,就只能按照手册的Linux开发章节来写Sensor驱动,调试ISP,这个我们社区没有这个能力,一般是找方案商来适配。

这个模型的输入尺寸960 X 544 ,16:9 应该是 960 X540 ,high为什么比正常的540要多4个像素,是在推理的过程中需要按特定的卷积核尺寸对齐吗?

我不是很清楚里面的实现细节,需要这个算法的话我可以帮您拉通商务经理和工程师谈一谈。