地平线机器人开发平台TogetheROS版本发布,持续更新中……

亲爱的开发者朋友,地平线一直在探索如何为开发者提供好用的机器人开发平台,虽然距离最终的产品形态,还有很长的路要走,但我们会持续更新,不断完善功能、优化体验,并将版本概要同步给开发者,以打造更好的开发者文化和氛围,共建开源生态,欢迎大家多多体验。开发者的声音我们一直都在倾听,如果发现产品、文档存在问题或对于机器人有自己的想法,请及时联系我们,我们会给予奖励并邀请参加地平线组织的课程培训。

下面让我们看看更新的具体细节吧!

「TROS-v1.1.6」X86平台支持

TogetheROS更新

· 新增TogetheROS X86平台支持,包括Hobot_DNN、Hobot_codec等模块。开发者无需嵌入式背景知识,也无需X3派开发板即可进行机器人应用开发;通过X86平台进行算法等方案的选型、开发和验证,可以大大提高开发效率(配置软件源后,apt安装即可,详情参考机器人平台用户手册,扫描文末开发手册二维码可直达);

· 修复音频codec驱动自动加载导致的I2C占用问题;

· 修复USB摄像头Video设备节点变化问题。


「TROS-v1.1.5」语音算法适配

TogetheROS更新

· 新增支持hobot_audio(音频模块)线形和环形麦克风类型配置功能,新增环形麦克风阵列语音算法适配;

· 优化hobot_sensors(传感器模块)、MIPI Camera图像时间戳精度,便于多传感器融合应用开发;

· 新增hobot_image_publisher(图像发布模块)h265编码测试视频,支持直接发布未解码JPEG格式图片;

· 修复TROS安装包中的package路径依赖问题。

功能示例优化

· 修复系统迭代更新后,用户文件被覆盖的问题。


「TROS-v1.1.4」Camera自适应

TogetheROS更新

· 优化hobot_sensors(传感器模块),自适应支持 GC4663、F37、RPI Camera V1、RPI Camera V2、RPI HQ Camera多种模组;

· 新增VIO(视频输入输出模块)raw和yuv格式图片接口功能,助力开发者定制化开发;

· 新增hobot_image_publisher(图像发布模块)MP4、H264和H265格式视频发布功能;

· 修复hobot_dnn(算法推理模块)部分内置算法后处理无返回值的问题;

· 新增hobot_cv(视觉处理模块)benchmark测评工具。

系统软件更新

· 优化工具链模块,新增bug修复指导信息,提升算法部署效率。

功能示例优化

· 修复部分USB3.0设备不识别问题;

· 修复部分HDMI采集卡无法显示图像问题。


「TROS-v1.1.3」算法工具链优化

TogetheROS更新

· 优化工具链使用方案,一键安装实现算法模型量化

· 新增rtsp拉流解码C语言示例,助力开发者工程化落地;

· 新增hobot_cv(视觉处理模块)图片padding与nv12图片处理功能;

· 优化hobot_codec(编解码模块)输出日志,助力开发者快速定位问题,提升开发效率;

· 优化hobot_sensor(传感器模块):新增RPI Camera V1、RPI Camera V2、RPI HQ Camera支持。


「TROS-v1.1.2」C++接口与算法开发

TogetheROS更新

· 新增板端docker支持,助力用户迁移原有方案;

· 新增2D垃圾检测算法示例,全流程打通PaddlePaddle训练到地平线开发板部署;

· 增加 C/C++接口的多媒体与算法开发,便于工程化部署;

· 新增dnn_node_sample package使用示例,助力开发者自定义部署算法模型;

· 新增自适应多核模型推理,支持指定bpu核进行算法推理,提高算法部署效率;

· 新增感知结果的置信度信息(Attribute.msg和Roi.msg),助力算法应用开发。


「TROS-v1.1.1」算法工具链使用说明

TogetheROS更新

· 优化视觉、图像模块,丰富报错时提示信息;

· 优化智能语音算法示例,提升声源定位DOA效果;

· 新增声源定位DOA应用示例,实现机器人随声转向;

· 集成Navigation2源码;

· 旭日X3派用户手册新增算法工具链使用说明。


「TROS-v1.1.0」内核驱动编译开放

TogetheROS更新

· 开放内核驱动编译环境,支持自定义内核驱动;

· 优化TF卡的兼容性,解决概率性TF卡启动失败问题;

· 新增深度学习算法实现小车巡线的应用示例;

· 新增自动泊车场景应用示例与泊车感知算法结果WEB端渲染功能;

· 新增RPI Camera V1、RPI Camera V2、RPI HQ Camera适配;

· 新增适配舜宇RGBD模组(CPBAM);

· hobot_codec,修复处理异常图片时程序崩溃;

· 支持输出帧率控制,降低跨设备传输图片的网络带宽消耗;

· 新增支持EDID检测,自适应显示分辨率;

· 新增支持joystick遥控手柄,便于手柄调试;

· 新增支持xfs和ntfs文件系统,提高通用性。


「TROS-v1.0.5」自动驾驶场景算法开放

TogetheROS更新

· parking_perception:新增泊车场景算法示例,支持行人、车辆、停车地锁等物体检测以及道路、车道线、车位区域的语义分割算法;

· hobot_image_publisher:新增本地图片发布工具,提高算法测评效率;

· hobot_cv:新增neon加速高斯滤波和均值滤波功能;

· hobot_dnn:修复示例中发布的ROS Msg算法推理输出帧率数据错误的问题;支持人体检测算法、人手关键点检测算法、手势识别算法启动时MIPI/USB摄像头类型选择功能,优化rqt_graph工具显示效果;

· hobot_codec:修复bgr8和rgb8格式图片消息中step参数错误导致的图片无法显示问题。

系统软件更新

· 新增restart_network命令,用于生效网络配置。


「TROS-v1.0.4」ORB-SLAM3优化探索

TogetheROS更新

· ORB-SLAM3:新增ORB-SLAM3,并基于深度学习对ORB-SLAM3进行优化探索;

· hobot_dnn:修复偶现算法推理结果异常问题;升级预测库版本,提高推理库易用性;修复模型加载报错的问题;

· hobot_cv:支持pyramid输出,便于获取多分辨率图像。

系统软件更新

· 新增rtsp视频流硬解码、图像缩放、多通道编解码功能的Python API;

· 修复加载AI模型加载I2C报错问题;

· 修复python接口pwm在占空比设置较高时无法重新设置周期值的问题;

· 修复spi无法单独只写或者只读的问题。

功能示例优化

· 修复同时启动以太网和wifi情况下,05示例报错问题;

· 新增X3派4路麦克风音频子板使用说明。


「TROS-v1.0.3」语音方案软硬件开源

TogetheROS更新

· ros-perception:新增ROS2 vision_opencv模块适配;

· hobot_audio:优化语音识别效果,更换配置默认唤醒词“精灵精灵”为“地平线你好”;

· hobot_cv:新增图像crop&resize&rotate接口;

· hobot_sensor:优化NV12图像转RGB格式的效率,更新RGBD模组驱动。

旭日X3派音频模块

地平线旭日X3派音频模块是一款支持音频采集、播放的外围配件,搭配地平线TogetherROS软件栈可满足音频处理、语音通话、人机交互等多种语音功能需求。音频模块通过40PIN上的I2S接口与X3派开发板连接。

01主要规格

· 集成4颗线性排列的模拟麦克风;

· 集成es7210 codec芯片,实现A/D、编码功能;

· 集成es8156 codec芯片,实现解码、D/A功能;

· 支持Line-out音频播放及信号回采。

02功能描述

旭日X3派音频模块通过搭配地平线TogetherROS软件栈,可实现音频录制、音频播放、语音处理、语音识别等多种语音功能。

· 基础功能:支持ALSA、Audio Pulse等音频服务,实现音频录制、播放;

· 语音信号处理:支持语音前端3A,包括音频降噪、人声增强、回声消除等功能;

· 语音识别:支持前端唤醒词识别、语音识别功能。


「TROS-v1.0.2」新增RealSense适配

系统镜像

· 新增GC4663 mipi camera适配;

· 新增RealSense camera适配;

· 优化基础AI示例,支持usb camera使用480P输入,并支持多分辨率输出;

· 优化首次开机系统启动时间,从2分钟缩减到30秒(需用社区镜像重新制作sd卡系统);

· 修复Desktop版本系统运行AI示例退出后黑屏问题。

Boxs

· mono2d_body_detection,新增人体关键点检测结果中置信度信息;

· audio_control,新增语音控制机器人运动功能模块;

· hobot_audio,新增语音识别功能模块;

· hobot_websocket,优化web显示界面,解决偶现加载失败问题;

· hobot_msgs,优化人体/人手等关键点信息模块,新增audio_msg语音信息模块。


「TROS-v1.0.1」地平线机器人开发平台版本发布

镜像系统

· 更新hobot-arm64-modules模块,修复Desktop的鼠标显示问题(修复方案,sudo apt update /sudo apt upgrade)。

TogetheROS

· HobotDNN,优化异步推理性能,增加性能统计模块;

· HobotCV,优化Log输出模块;

· HobotSensor,修复rgbd sensor,通过shared mem通信方式发布消息失败问题。

Boxs

· HobotWebsocket,修复偶现内存泄漏问题;

· HobotCodec,优化视频编解码CPU占用;

· 新增HobotHDMI模块,支持HDMI屏显展示;

· mono2d_body_detection,更新人体检测性能统计方式,优化Log输出模块;

· hand_lmk_detection,修复人手关键点检测方案内存泄漏问题,优化推理性能;

· hand_gesture_detection,修复手势检测中有多个人手的情况下,部分人手无结果输出问题,并优化推理性能。

太强了

感觉有的USB摄像头在TogetheROS上不兼容怎么解决啊?

可以支持X86 平台的TROS-v1.1.6如何安装啊。有没有装好的docker镜像可以下载?

更新日志能不能加个时间

兄弟替我说了,我就不说了 哈哈,加个时间啊。

尽量使用标准版的摄像头哈~

taa