RDK X5多媒体解码排查思路

RDK X5视频编解码器资源介绍

  1. 支持H.265(HEVC)编码和解码:
  • Main profile @ L5.1。
  1. 支持H.264(AVC)编码和解码:
  • Baseline/Constrained Baseline/Main/High profiles @ L5.2。
  • H.264支持SVC-T编码。
  1. H265/H264编解码性能:
  • 最大支持 3840 x 2160@60fps 编码
  • 最大支持 3840 x 2160@60fps 解码
  • 编码器和解码器同时支持 3840 x 2160@30fps
  1. 支持JPEG编码和解码:
  • 支持 JPEG baseline/extended 。
  • 支持3840 x 2160@30fps 的同时编码和解码
  • 最大支持编解码分辨率:32768 x 32768 像素
  • 最小支持编解码分辨率:16 x 16 像素

VLC软件解码测试指南

此步骤是在Windows的操作系统中,使用VLC等现成的多媒体软件,拉取码流,看看是否能进行解码播放,来确保这段码流不是被加密的,并且确保这段码流相对是比较标准的一个H264/H265的RTSP码流。

参考:https://blog.csdn.net/macmacip/article/details/90301414

RDK X5板端的推流案例

在RDK X5的系统中,在板端的/app/pydev_demo/08_decode_rtsp_stream目录下,有一个标准的H264推流程序,用于生成一个标准的,并且RDK一定能解码的码流,这个推流程序的H264码流是可以用板子的codec解码的,这块可以用来比对自己写的程序的细节差异。

这个案例的详细说明在RDK手册中:https://developer.d-robotics.cc/rdk_doc/Basic_Application/multi_media/pydev_vio_demo

RDK X5的TROS解码测试指南

TROS目前集成了rtsp_client 节点,用于将RTSP码流转化为/H26X的ROS2 Topic话题,hobot_codec节点,用于调用RDK X5的硬件解码器,将码流解码为YUV420SP(nv12)格式的图像话题,然后我们再启动一个Codec节点将这个话题编码为MJPEG,最后用TROS的websocket 节点就可以对码流的图像进行可视化了。

这样可以不写代码,直接使用敲命令行打命令的方式,在C/C++的层面调用硬件编解码器,验证码流的功能。

详细请参考RDK手册:https://developer.d-robotics.cc/rdk_doc/Robot_development/apps/video_boxs

RDK X5的系统软件sp*接口解码测试指南

目前RDK X5在社区手册在板卡中的案例目录:-
Python:/app/pydev_demo/08_decode_rtsp_stream-
C/C++: /app/cdev_demo

目前RDK X5在社区手册中关于多媒体接口的说明:

Python:https://developer.d-robotics.cc/rdk_doc/Basic_Application/multi_media/multi_media_api/pydev_multimedia_api_x3/-
C/C++:https://developer.d-robotics.cc/rdk_doc/Basic_Application/multi_media/multi_media_api/cdev_multimedia_api_x3/decoder_api

其中,C/C++相关的头文件和动态库都在Makefile中有指出,如果没有指出,说明在通用的Linux的目录下.

提问模板

提醒:-
如果确认是RDK X5的多媒体表现不及预期,请先烧录RDK X5最新的系统镜像,并使用sudo apt update && sudo apt upgrade将所有软件包升级到最新

RDK X5最新的系统镜像获取:https://archive.d-robotics.cc/downloads/os_images/rdk_x5/

然后使用以上解码测试指南中所提供的现有的最新的软件包进行软件测试,比对现有案例和自己设计的案例的差异。

如果最终确认有异常,按照普通发帖提问模板和VENC/DENC提问模版提供信息,发布求助帖。

常规求助帖提问模板:https://developer.d-robotics.cc/forumDetail/266442573995170050-
VENC/VDEC问题 提问模版:https://developer.d-robotics.cc/forumDetail/266441979142197461