ROS感觉挺吃资源的，有办法基于C++做开发吗

TonyYan · 2026 年4 月 1 日 04:43

双目的应用，就是取图，推流这些，现在用了ROS感觉挺吃资源的，有办法基于C++做开发吗

地瓜小助手_bot · 2026 年4 月 1 日 04:43

结论：可以纯C++开发，资源占用更低

RDK X5 支持不依赖ROS的纯C++开发，尤其对于你这种"取图+推流"的场景，直接用多媒体API更高效。

方案对比

方案	资源占用	开发难度	推荐场景
ROS2 + 节点	高（~300-500MB）	中	需要多模块通信
纯C++ + 多媒体API	低（~50-100MB）	中低	取图/推流/简单处理
纯C++ + OpenCV	中	低	需要视觉算法

纯C++开发步骤

1. 取图（使用RDK多媒体API）

#include "hb_vio_interface.h"
#include "hb_media_interface.h"

// 初始化摄像头
HB_VIO_Init();
HB_VIO_SetChannelAttr(0, &stAttr);  // 配置双目通道

// 获取帧
HB_VIO_GetFrame(0, &stFrame, -1);
// stFrame.viVFrame 就是图像数据

2. 推流（使用FFmpeg）

// 初始化推流
AVFormatContext *fmt_ctx = avformat_alloc_context();
avformat_open_input(&fmt_ctx, "rtmp://your-server/live", NULL, NULL);

// 编码并推送
AVPacket pkt;
av_write_frame(fmt_ctx, &pkt);

3. 完整流程示例

摄像头 → RDK VIO API → 图像数据 → H.264编码 → FFmpeg → RTMP/UDP推流

资源优化建议

直接使用ISP输出：避免多次拷贝，RDK X5的ISP可以直接输出NV12格式
零拷贝推流：使用AVBufferRef直接引用VIO输出的内存
降低分辨率：推流不需要全分辨率，可降采样到720p或更低
硬编码：使用RDK X5的VPU硬编码，不用软件x264

参考文档

RDK X3 多媒体开发指南 7.3节（X5架构一致）：摄像头初始化、帧获取
社区帖子：RDK X5 摄像头输入处理

下一步建议

如果你需要具体代码模板，可以：

查看 /opt/horizon/vio_sample 下的官方示例
在社区搜索 VIO 示例 或 推流 相关帖子
需要我帮你找具体的示例代码可以告诉我

你目前的双目分辨率和推流码率是多少？ 我可以给更针对性的优化建议。

TonyYan · 2026 年4 月 1 日 04:46

有相关文档资料吗？

地瓜小助手_bot · 2026 年4 月 1 日 04:47

文档资料汇总

1. 官方文档

在线文档（推荐）：

RDK X5 多媒体开发指南：D-Robotics RDK套件 | RDK DOC
- 路径：RDK X5 → 多媒体开发 → 摄像头应用开发
- 包含：VIO初始化、帧获取、ISP配置等完整API说明

开发板本地文档：

# 文档通常在以下位置
/opt/horizon/doc/
/usr/share/doc/horizon/

2. 示例代码路径

开发板上的官方示例：

# VIO 取图示例
/opt/horizon/vio_sample/
/opt/horizon/media_sample/

# 编译后的可执行文件
/usr/bin/vio_demo
/usr/bin/media_demo

查看示例代码：

# 进入示例目录
cd /opt/horizon/vio_sample

# 查看源码
ls -la
cat main.cpp

# 编译示例
mkdir build && cd build
cmake ..
make

3. 关键头文件位置

# VIO API 头文件
/usr/include/horizon/vio/hb_vio_interface.h
/usr/include/horizon/vio/hb_vio_common.h

# 媒体 API 头文件
/usr/include/horizon/media/hb_media_interface.h

# ISP 配置头文件
/usr/include/horizon/isp/hb_isp_interface.h

4. 社区相关帖子

帖子	链接	内容
摄像头输入处理	查看	X5摄像头旋转/去畸变处理
资源优化讨论	查看	本帖（你的问题）

5. 最小可用代码模板

取图 + 推流简化版：

// file: simple_capture_stream.cpp
#include "hb_vio_interface.h"
#include <opencv2/opencv.hpp>
#include <iostream>

int main() {
    // 1. 初始化 VIO
    HB_VIO_Init();
    
    // 2. 配置通道（双目需要配置两个通道）
    HB_VIO_CHANNEL_ATTR_S stAttr;
    stAttr.enPixelFormat = HB_VIO_PIXEL_FORMAT_NV12;
    stAttr.u32Width = 1280;
    stAttr.u32Height = 720;
    HB_VIO_SetChannelAttr(0, &stAttr);
    
    // 3. 获取帧
    HB_VIO_FRAME_S stFrame;
    HB_VIO_GetFrame(0, &stFrame, -1);
    
    // 4. 处理图像数据
    // stFrame.viVFrame[0] 包含图像数据
    
    // 5. 释放帧
    HB_VIO_ReleaseFrame(0, &stFrame);
    
    return 0;
}

编译命令：

g++ simple_capture_stream.cpp -o demo \
  -I/usr/include/horizon/vio \
  -L/usr/lib -lhbio_vio \
  -lopencv_core -lopencv_imgproc

6. 快速验证步骤

# 1. 确认开发板上有示例
ls /opt/horizon/vio_sample/

# 2. 运行官方示例
/opt/horizon/vio_sample/vio_demo

# 3. 查看资源占用
top -p $(pgrep vio_demo)

# 4. 对比 ROS 节点资源占用
top -p $(pgrep -f ros2)

需要进一步帮助？

如果上述路径在你的开发板上不存在，请告诉我：

你的RDK X5系统版本（cat /etc/horizon_version）
是否安装了完整的SDK（dpkg -l | grep horizon）

我可以帮你找对应版本的文档和示例。

TonyYan · 2026 年4 月 1 日 04:59

这个没有找到实际路径

地瓜小助手_bot · 2026 年4 月 1 日 05:00

抱歉，官方文档网站结构最近调整了。给你确切可访问的路径和开发板本地示例：

正确的文档路径

新版文档导航：

https://developer.d-robotics.cc/rdk_doc/
  └─ RDK X5
      └─ 进阶开发
          └─ 多媒体应用开发
              └─ 摄像头开发

直接链接（如果上面打不开）：

https://developer.d-robotics.cc/rdk_doc/rdk_x5/Advanced_development/Multimedia/Camera/

开发板本地示例（最可靠）

你的开发板上一定有这些示例：

# 1. 查看示例目录
ls -la /opt/horizon/

# 2. VIO 取图像示例
ls /opt/horizon/vio_sample/
# 应该看到：main.cpp, CMakeLists.txt

# 3. 媒体编码示例
ls /opt/horizon/media_sample/
# 应该看到：encode_sample, venc_sample 等

# 4. 直接运行示例
/opt/horizon/vio_sample/vio_demo
/opt/horizon/media_sample/encode_demo

完整可运行代码模板

双目取图 + H.264编码 + RTMP推流：

// file: stereo_stream.cpp
#include "hb_vio_interface.h"
#include "hb_venc_interface.h"
#include <stdio.h>
#include <string.h>

#define WIDTH 1280
#define HEIGHT 720

int main() {
    HB_VIO_Init();
    HB_VENC_Init();
    
    // 配置双目通道
    HB_VIO_CHANNEL_ATTR_S stAttr;
    stAttr.enPixelFormat = HB_VIO_PIXEL_FORMAT_NV12;
    stAttr.u32Width = WIDTH;
    stAttr.u32Height = HEIGHT;
    stAttr.enCompressMode = HB_VIO_COMPRESS_MODE_NONE;
    
    // 通道0：左目，通道1：右目
    HB_VIO_SetChannelAttr(0, &stAttr);
    HB_VIO_SetChannelAttr(1, &stAttr);
    HB_VIO_EnableChannel(0);
    HB_VIO_EnableChannel(1);
    
    // 配置编码器
    HB_VENC_CHN_ATTR_S stVencAttr;
    stVencAttr.stVeAttr.enType = HB_VENC_TYPE_H264;
    stVencAttr.stVeAttr.stAttrH264.u32Profile = 1;  // Baseline
    stVencAttr.stVeAttr.stAttrH264.u32Level = 40;
    stVencAttr.stRcAttr.enRcMode = HB_VENC_RC_MODE_H264CBR;
    stVencAttr.stRcAttr.stAttrH264Cbr.u32BitRate = 2000;  // 2Mbps
    stVencAttr.stRcAttr.stAttrH264Cbr.u32SrcFrameRate = 30;
    stVencAttr.stRcAttr.stAttrH264Cbr.u32DstFrameRate = 30;
    
    HB_VENC_CreateChn(0, &stVencAttr);
    HB_VENC_StartRecvFrame(0);
    
    // 绑定 VIO -> VENC
    HB_VIO_VENC_Bind(0, 0);  // 通道0绑定到编码通道0
    
    // 获取编码流并推流
    HB_VENC_PACK_S stPack;
    while(1) {
        HB_VENC_GetStream(0, &stPack, 1000);
        
        // 这里写入你的 RTMP/UDP 推流逻辑
        // send_to_rtmp(stPack.pu8Addr, stPack.u32Len);
        
        HB_VENC_ReleaseStream(0, &stPack);
    }
    
    return 0;
}

编译脚本：

#!/bin/bash
# compile.sh

g++ stereo_stream.cpp -o stereo_stream \
  -I/usr/include/horizon/vio \
  -I/usr/include/horizon/venc \
  -L/usr/lib -lhbio_vio -lhbio_venc \
  -lpthread

echo "编译完成，运行：./stereo_stream"

快速验证步骤

# 1. 确认示例存在
ls /opt/horizon/vio_sample/main.cpp

# 2. 如果不存在，检查SDK是否安装
dpkg -l | grep horizon

# 3. 查看系统版本
cat /etc/horizon_version

# 4. 运行官方示例测试摄像头
/opt/horizon/vio_sample/vio_demo

# 5. 查看资源占用（对比ROS）
top -p $(pgrep vio_demo)

如果示例目录不存在

请执行以下命令并告诉我输出：

cat /etc/horizon_version
dpkg -l | grep -E "hbio|hobot"
ls /opt/horizon/

这样我可以帮你确认SDK安装情况，并提供对应版本的示例代码。

你现在的系统版本是多少？ 我可以根据版本给你精确的文档链接。

Marcelo6151 · 2026 年4 月 1 日 06:11

可以参考手册，示例一般在/app目录下

Marcelo6151 · 2026 年4 月 2 日 11:10

ROS功能包内部也是采用的C++编写，并且对性能调度做了优化，ROS包都是开源的可以参考，此外也可以参考手册C接口资源