RoboGo × Model Zoo 镜像汇总|视觉、OCR、语音、深度与 LeRobot 一帖直达

把之前陆续分享的 RoboGo × RDK Model Zoo 开发镜像整理成一份索引,方便按任务和板卡选择。当前共有 5 类、7 份当前版本镜像,另附 3 份仍公开的视觉历史版本。

这些镜像提供云端开发环境和网页工作台,将训练、模型导出、量化编译及验证流程与对应 Model Zoo 案例衔接。各镜像的预置模型、目标板卡和验收范围不同,下面同时列出镜像入口、对应案例和详细教程。

所有当前版本工作台的 Web 应用配置均为:端口 7860,HTTP,路径 /。数据管理目录请以读写方式挂载到 /personal。

一、按任务选镜像

想做的任务 选择镜像 目标与主要内容 详细教程
X5 检测、分类、YOLO26 单目深度 X5 视觉 v1.1 X5 .bin;YOLO、ResNet 等分类模型及 YOLO26 Depth 视觉全链路教程 · 深度更新说明
S 系列检测、分割、姿态、分类、YOLO26 单目深度 S 系列视觉 v1.2 S100/S100P/S600 .hbm;不同任务的实测范围见下文 视觉全链路教程 · v1.2 更新
X5 文字检测与识别 X5 PaddleOCR v3 v1.0 PP-OCRv3 Det/Rec,生成 X5 .bin OCR 双镜像教程
S 系列文字检测与识别 S 系列 PaddleOCR v6 v1.0 PP-OCRv6 Tiny Det/Rec,生成 S 系列 .hbm OCR 双镜像教程
中文语音识别与微调 S100 Paraformer v1.0 FunASR、真实语音校准、Encoder/Predictor/Decoder 三段 HBM Paraformer 教程
Depth Anything V2 Small 单目深度 S 系列 DAV2 Small v1.0 相对逆深度;微调、ONNX、S100 HBM 编译 单目深度教程
ACT / π0、ALOHA 仿真与 S600 部署研究 LeRobot ACT / π0 S600 v1.0 统一工作台、隔离环境、7 个最终 HBM 和部署文件 LeRobot 镜像说明与实测

二、与 Model Zoo 案例的对应关系

以下目录均相对于 D-Robotics/rdk_model_zoo。镜像固定了构建时的工具链与代码版本;查询上游新版本时,仍需核对对应目标平台、接口与版本兼容性。

镜像类别 对应 Model Zoo 案例 镜像补充的开发流程
X5 / S 系列视觉 samples/vision/ultralytics_yolo、resnet、mobilenetv2、mobilenetv3、resnext、efficientnet、yolo26_depth 等;具体模型集合按镜像区分 网页训练、测试、匹配 Model Zoo 的 ONNX 导出、校准、编译与图片验证
PaddleOCR samples/vision/paddle_ocr Det/Rec 分别训练、真实图片生成检测与识别校准输入、完整 OCR 串联验证
Paraformer samples/speech/paraformer FunASR 微调、语音特征处理、固定形状导出、真实中间张量校准、三段编译
Depth Anything V2 samples/vision/depth_anything_v2 Small 模型网页推理、配对深度数据微调、按案例协议导出与校准
LeRobot ACT / π0 samples/vla 中 ACT / π0 集成,以及 rdk_LeRobot_tools 环境配置、ALOHA 仿真、量化部署包和 S600 实测资料

三、完整镜像名称

在平台搜索时,可直接复制下面的名字:

rdk-x5-vision-fullchain-oe128-cu128-v1.1
rdk-s-vision-fullchain-oe370-cu128-v1.2
rdk-x5-paddleocr-v3-fullchain-oe128-cu128-v1.0
rdk-s-paddleocr-v6-fullchain-oe370-cu128-v1.0
rdk-s100-paraformer-fullchain-oe370-cu128-v1.0
rdk-s-depth-anything-v2-small-oe370-cu128-v1.0
rdk-s-lerobot-act-pi0-s600-cu128-v1.0

四、开机前的端口与存储设置

镜像 系统盘建议 其他重点
X5 / S 系列视觉 推荐 200GB;原教程基础配置至少 120GB,新增任务需额外预留缓存与编译空间 单张 4090/5090;S600 目标产物需到板端验证
X5 / S 系列 OCR 至少 120GB;多轮训练与量化建议 200GB 或更大 Det/Rec、字符字典、校准数据必须匹配
Paraformer S100 至少 120GB,推荐 200GB;用户挂载盘建议预留 30GB 以上 开机后先手动启动 Web,见下方命令
Depth Anything V2 Small 推荐 200GB 原实测配置建议内存 120GB 以上;训练需 RGB 与对齐深度真值
LeRobot ACT / π0 建议 500GB,已用 500GB 新实例完成恢复验证 实测 RTX 5090 32GB、24 核/192GB 内存;清理后约 33.57GiB 不代表训练、编译只需这点空间

系统盘和用户挂载盘是两份空间:环境、SDK、部分编译缓存占系统盘;数据集、新权重和任务产物应放用户挂载盘。/personal 的内容不会随镜像分享给其他用户。 不要直接使用平台的 20GB 默认系统盘来运行这些完整开发环境。

创建实例时设置 Web 端口 7860、路径 /,进入运行状态后打开“Web 应用”。多数镜像已配置自启动;Paraformer 当前需要先在终端执行:

bash /home/robogo/START_PARAFORMER_WEB.sh start

其他工作台需要检查或启动服务时,可使用:

bash /home/robogo/START_TRAINING_WEB.sh

如果持续 502,请核对端口、实例启动状态及服务日志;具体命令以各镜像 README 为准。训练数据和结果找不到时,先确认 /personal 已读写挂载。

五、哪些已经验证,哪些还要上板

视觉:检测、分类与 YOLO26 Depth

X5 与 S 系列的训练、导出及量化路线分别维护。S 系列镜像还提供实例分割和姿态功能;YOLO26 Depth 已加入 X5 v1.1 / S v1.2,当前重点实测 n 规格。S v1.2 已完成新开发机恢复验证,X5 v1.1 本轮未重新做保存后恢复验收。

YOLO26 深度的 BIN/HBM 执行仍需在板端验证;网页中的 PT、浮点或定点 ONNX 结果不能当作板端实测性能。其他任务也请按原帖的具体模型和目标架构查看记录。

OCR:检测和识别一起检查

两套镜像都围绕 Det/Rec 全链路组织。X5 与 S100 已有浮点/量化及开发机内串联验证记录;S600 需要到对应实板验证。X5 的 PP-OCRv3 和 S 系列的 PP-OCRv6 不应混用模型、字典或导出配置,OE x86 仿真耗时也不是板端时延。

Paraformer:浮点识别与三段编译

已跑通浮点微调回载、ONNX 导出、真实语音校准和 S100 三段 HBM 编译。网页目前只提供浮点语音识别,HBM 识别效果及性能需要在 S100 板端验收。

Depth Anything V2:相对逆深度

已验证 Small 训练冒烟、ONNX 导出与推理、S100 O0 HBM 编译及定点 ONNX 验证。输出为相对逆深度,不是直接得到多少米。HBM 执行、S100P/S600 编译以及该版镜像保存后的恢复启动尚待复验。

LeRobot:S600 推理已运行,闭环任务仍有差距

最终保留 7 个 HBM,合计约 2.92GB:π0 S600 三段约 2.84GB、ACT S600 两段约 42.33MB、ACT S100 两段约 41.81MB。镜像含环境和必要部署文件,不含浮点训练权重、数据集及训练检查点,重新训练需自行准备。

ACT 两段和 π0 三段均已在 S600 实际运行。少量固定种子的配对仿真中,ACT 浮点/S600 为 2/2、1/2 成功,π0 为 1/2、0/2 成功;这说明推理链路已运行,不代表闭环任务验收通过或通用成功率。当前对应 ALOHA 双臂交接方块任务,不能直接当作其他机器人的通用策略。

六、仍公开的视觉历史版本

历史教程与实验可能引用以下版本,新建项目可优先从前面的当前版本入口开始:

以上为截至 2026-10-16 本系列已公开镜像的入口汇总。使用前请看对应 README 和教程中的数据格式、版本约束与验证范围;编译完成、定点 ONNX 一致性、BPU 执行和业务精度是不同的验收环节。

欢迎在评论里附上镜像版本、目标板卡、任务类型和错误信息反馈问题,便于定位到对应流程。