地平线在7月25日正式推出了机器人开发者套件RDK Ultra,算力高达96Tops,今天终于拿到手啦,这就玩起来。-
产品详细介绍可以参见:https://developer.horizon.cc/rdkultra
一、开箱
RDK Ultra的包装盒有点大,像是一个包装精美的礼盒,设计风格还是很科技范的。打开包装后,迎面就是开发板本尊了,掀开上层盒子,下边还有一层放置了各种配件,除了必备的电源适配器之外,还额外带有一个摄像头和支架,很快就可以把视觉应用玩起来。-
把所有东西全都拿出来,这就是RDK Ultra的全家福啦。-
二、烧写系统
系统烧写的完整步骤可以参考官方手册:https://developer.horizon.cc/documents_rdk/installation/install_os
(1)首先下载系统镜像,下载地址在这里 http://archive.sunrisepi.tech/downloads/os_images/rdk_ultra_1.0.0/-
(2)然后下载烧写系统镜像的工具hbupdate:-
-
(3)把前边下载的系统镜像和烧写工具都解压好,接下来需用通过网络烧写镜像,所以需要找一根网线,连接PC和RDK Ultra。-
-
(4)RDK Ultra上默认的IP地址是192.168.1.10,我们需要将PC端的网络需要也配置为同网段的静态IP地址,配置如下:-
-
配置好可以给板卡上电,在PC端尝试ping一下板卡,确保网络是通畅的。-
-
(5)将RDK Ultra功能控制接口(接口10)的FC_REC和GND信号短接,这里套件中没有提供跳线帽或者杜邦线(建议增加),需要自己找一个:-
-
(6)接下来打开hbupdate烧写工具,确认板卡名称是“RDK Ultra”,选择好刚才下载的镜像,就可以点击start开始啦。-
-
点击ok后,正式进入烧写过程,我们可以看到进度条在缓慢变化:-
-
我们稍等片刻,大概十分钟左右系统烧写完成:-
-
点击ok关闭烧写软件即可,同时记得把短接的杜邦线或者跳线帽也去掉。
三、示例尝鲜
重新上电启动开发板,如果此时连接有HDMI屏幕的话,启动成功后就可以看到系统桌面啦,连接上键盘鼠标,桌面操作连接无线网络,就可以直接操作使用啦。-
不过个人还是更喜欢远程ssh,在本地电脑上访问192.168.1.10就可以通过网线远程登录。-
(1)相机采集图像-
把套件中附带的相机连上:-
-
跑一个目标检测的demo,结果会通过HDMI显示在屏幕上:
cd /app/pydev_demo/03_mipi_camera_sample/
sudo python3 ./mipi_camera.py
-(2)web端显示图像-
如果想在相同网络中的PC端查看图像,可以通过如下命令启动服务器:
cd /app/pydev_demo/05_web_display_camera_sample/
sudo sh ./start_nginx.sh
sudo python3 ./mipi_camera_web.py
然后在电脑web浏览器里访问:192.168.1.10:80,就可以看到如下画面:-
(3)yolov5-
再试一个yolov5的经典案例:
cd /app/pydev_demo/07_yolov5_sample/
sudo python3 ./test_yolov5.py
运行后,在当前路径下就会生成一张目标识别后的图片result.jpg,打开就可以看到结果啦:-
(4)TROS相机图像采集-
如果想使用TROS驱动相机,并且在web端显示图像,可以分别启动三个终端,运行如下指令:
配置tros.b环境:
source /opt/tros/setup.bash
launch 方式启动
ros2 launch mipi_cam mipi_cam.launch.py
新启动一个终端
source /opt/tros/setup.bash
启动编码
ros2 launch hobot_codec hobot_codec_encode.launch.py
再启动起一个终端
source /opt/tros/setup.bash
启动websocket
ros2 launch websocket websocket.launch.py websocket_image_topic:=/image_jpeg websocket_only_show_image:=true
图像发布结果-(5)手势识别-
NodeHub中还有很多其他有意思的应用,比如手势识别:
配置tros.b环境
source /opt/tros/setup.bash
从tros.b的安装路径中拷贝出运行示例需要的配置文件。
cp -r /opt/tros/lib/mono2d_body_detection/config/ .
cp -r /opt/tros/lib/hand_lmk_detection/config/ .
cp -r /opt/tros/lib/hand_gesture_detection/config/ .
配置MIPI摄像头
export CAM_TYPE=mipi
启动launch文件
ros2 launch hand_gesture_detection hand_gesture_detection.launch.py
手势识别检测结果-还有很多应用这里就不一一详述了,大家可以参考以下资料:
- RDK用户手册:https://developer.horizon.cc/documents_rdk
- TROS用户手册:https://developer.horizon.cc/documents_tros
- NodeHub应用中心:https://developer.horizon.cc/nodehub