亲爱的开发者朋友,地平线一直在探索如何为开发者提供好用的机器人开发平台,虽然距离最终的产品形态,还有很长的路要走,但我们会持续更新,不断完善功能、优化体验,并将版本概要同步给开发者,以打造更好的开发者文化和氛围,共建开源生态,欢迎大家多多体验。开发者的声音我们一直都在倾听,如果发现产品、文档存在问题或对于机器人有自己的想法,请及时联系我们,我们会给予奖励并邀请参加地平线组织的课程培训。
下面让我们看看更新的具体细节吧!
「TROS-v1.1.6」X86平台支持
TogetheROS更新
· 新增TogetheROS X86平台支持,包括Hobot_DNN、Hobot_codec等模块。开发者无需嵌入式背景知识,也无需X3派开发板即可进行机器人应用开发;通过X86平台进行算法等方案的选型、开发和验证,可以大大提高开发效率(配置软件源后,apt安装即可,详情参考机器人平台用户手册,扫描文末开发手册二维码可直达);
· 修复音频codec驱动自动加载导致的I2C占用问题;
· 修复USB摄像头Video设备节点变化问题。
「TROS-v1.1.5」语音算法适配
TogetheROS更新
· 新增支持hobot_audio(音频模块)线形和环形麦克风类型配置功能,新增环形麦克风阵列语音算法适配;
· 优化hobot_sensors(传感器模块)、MIPI Camera图像时间戳精度,便于多传感器融合应用开发;
· 新增hobot_image_publisher(图像发布模块)h265编码测试视频,支持直接发布未解码JPEG格式图片;
· 修复TROS安装包中的package路径依赖问题。
功能示例优化
· 修复系统迭代更新后,用户文件被覆盖的问题。
「TROS-v1.1.4」Camera自适应
TogetheROS更新
· 优化hobot_sensors(传感器模块),自适应支持 GC4663、F37、RPI Camera V1、RPI Camera V2、RPI HQ Camera多种模组;
· 新增VIO(视频输入输出模块)raw和yuv格式图片接口功能,助力开发者定制化开发;
· 新增hobot_image_publisher(图像发布模块)MP4、H264和H265格式视频发布功能;
· 修复hobot_dnn(算法推理模块)部分内置算法后处理无返回值的问题;
· 新增hobot_cv(视觉处理模块)benchmark测评工具。
系统软件更新
· 优化工具链模块,新增bug修复指导信息,提升算法部署效率。
功能示例优化
· 修复部分USB3.0设备不识别问题;
· 修复部分HDMI采集卡无法显示图像问题。
「TROS-v1.1.3」算法工具链优化
TogetheROS更新
· 优化工具链使用方案,一键安装实现算法模型量化
· 新增rtsp拉流解码C语言示例,助力开发者工程化落地;
· 新增hobot_cv(视觉处理模块)图片padding与nv12图片处理功能;
· 优化hobot_codec(编解码模块)输出日志,助力开发者快速定位问题,提升开发效率;
· 优化hobot_sensor(传感器模块):新增RPI Camera V1、RPI Camera V2、RPI HQ Camera支持。
「TROS-v1.1.2」C++接口与算法开发
TogetheROS更新
· 新增板端docker支持,助力用户迁移原有方案;
· 新增2D垃圾检测算法示例,全流程打通PaddlePaddle训练到地平线开发板部署;
· 增加 C/C++接口的多媒体与算法开发,便于工程化部署;
· 新增dnn_node_sample package使用示例,助力开发者自定义部署算法模型;
· 新增自适应多核模型推理,支持指定bpu核进行算法推理,提高算法部署效率;
· 新增感知结果的置信度信息(Attribute.msg和Roi.msg),助力算法应用开发。
「TROS-v1.1.1」算法工具链使用说明
TogetheROS更新
· 优化视觉、图像模块,丰富报错时提示信息;
· 优化智能语音算法示例,提升声源定位DOA效果;
· 新增声源定位DOA应用示例,实现机器人随声转向;
· 集成Navigation2源码;
· 旭日X3派用户手册新增算法工具链使用说明。
「TROS-v1.1.0」内核驱动编译开放
TogetheROS更新
· 开放内核驱动编译环境,支持自定义内核驱动;
· 优化TF卡的兼容性,解决概率性TF卡启动失败问题;
· 新增深度学习算法实现小车巡线的应用示例;
· 新增自动泊车场景应用示例与泊车感知算法结果WEB端渲染功能;
· 新增RPI Camera V1、RPI Camera V2、RPI HQ Camera适配;
· 新增适配舜宇RGBD模组(CPBAM);
· hobot_codec,修复处理异常图片时程序崩溃;
· 支持输出帧率控制,降低跨设备传输图片的网络带宽消耗;
· 新增支持EDID检测,自适应显示分辨率;
· 新增支持joystick遥控手柄,便于手柄调试;
· 新增支持xfs和ntfs文件系统,提高通用性。
「TROS-v1.0.5」自动驾驶场景算法开放
TogetheROS更新
· parking_perception:新增泊车场景算法示例,支持行人、车辆、停车地锁等物体检测以及道路、车道线、车位区域的语义分割算法;
· hobot_image_publisher:新增本地图片发布工具,提高算法测评效率;
· hobot_cv:新增neon加速高斯滤波和均值滤波功能;
· hobot_dnn:修复示例中发布的ROS Msg算法推理输出帧率数据错误的问题;支持人体检测算法、人手关键点检测算法、手势识别算法启动时MIPI/USB摄像头类型选择功能,优化rqt_graph工具显示效果;
· hobot_codec:修复bgr8和rgb8格式图片消息中step参数错误导致的图片无法显示问题。
系统软件更新
· 新增restart_network命令,用于生效网络配置。
「TROS-v1.0.4」ORB-SLAM3优化探索
TogetheROS更新
· ORB-SLAM3:新增ORB-SLAM3,并基于深度学习对ORB-SLAM3进行优化探索;
· hobot_dnn:修复偶现算法推理结果异常问题;升级预测库版本,提高推理库易用性;修复模型加载报错的问题;
· hobot_cv:支持pyramid输出,便于获取多分辨率图像。
系统软件更新
· 新增rtsp视频流硬解码、图像缩放、多通道编解码功能的Python API;
· 修复加载AI模型加载I2C报错问题;
· 修复python接口pwm在占空比设置较高时无法重新设置周期值的问题;
· 修复spi无法单独只写或者只读的问题。
功能示例优化
· 修复同时启动以太网和wifi情况下,05示例报错问题;
· 新增X3派4路麦克风音频子板使用说明。
「TROS-v1.0.3」语音方案软硬件开源
TogetheROS更新
· ros-perception:新增ROS2 vision_opencv模块适配;
· hobot_audio:优化语音识别效果,更换配置默认唤醒词“精灵精灵”为“地平线你好”;
· hobot_cv:新增图像crop&resize&rotate接口;
· hobot_sensor:优化NV12图像转RGB格式的效率,更新RGBD模组驱动。
旭日X3派音频模块
地平线旭日X3派音频模块是一款支持音频采集、播放的外围配件,搭配地平线TogetherROS软件栈可满足音频处理、语音通话、人机交互等多种语音功能需求。音频模块通过40PIN上的I2S接口与X3派开发板连接。
01主要规格
· 集成4颗线性排列的模拟麦克风;
· 集成es7210 codec芯片,实现A/D、编码功能;
· 集成es8156 codec芯片,实现解码、D/A功能;
· 支持Line-out音频播放及信号回采。
02功能描述
旭日X3派音频模块通过搭配地平线TogetherROS软件栈,可实现音频录制、音频播放、语音处理、语音识别等多种语音功能。
· 基础功能:支持ALSA、Audio Pulse等音频服务,实现音频录制、播放;
· 语音信号处理:支持语音前端3A,包括音频降噪、人声增强、回声消除等功能;
· 语音识别:支持前端唤醒词识别、语音识别功能。
「TROS-v1.0.2」新增RealSense适配
系统镜像
· 新增GC4663 mipi camera适配;
· 新增RealSense camera适配;
· 优化基础AI示例,支持usb camera使用480P输入,并支持多分辨率输出;
· 优化首次开机系统启动时间,从2分钟缩减到30秒(需用社区镜像重新制作sd卡系统);
· 修复Desktop版本系统运行AI示例退出后黑屏问题。
Boxs
· mono2d_body_detection,新增人体关键点检测结果中置信度信息;
· audio_control,新增语音控制机器人运动功能模块;
· hobot_audio,新增语音识别功能模块;
· hobot_websocket,优化web显示界面,解决偶现加载失败问题;
· hobot_msgs,优化人体/人手等关键点信息模块,新增audio_msg语音信息模块。
「TROS-v1.0.1」地平线机器人开发平台版本发布
镜像系统
· 更新hobot-arm64-modules模块,修复Desktop的鼠标显示问题(修复方案,sudo apt update /sudo apt upgrade)。
TogetheROS
· HobotDNN,优化异步推理性能,增加性能统计模块;
· HobotCV,优化Log输出模块;
· HobotSensor,修复rgbd sensor,通过shared mem通信方式发布消息失败问题。
Boxs
· HobotWebsocket,修复偶现内存泄漏问题;
· HobotCodec,优化视频编解码CPU占用;
· 新增HobotHDMI模块,支持HDMI屏显展示;
· mono2d_body_detection,更新人体检测性能统计方式,优化Log输出模块;
· hand_lmk_detection,修复人手关键点检测方案内存泄漏问题,优化推理性能;
· hand_gesture_detection,修复手势检测中有多个人手的情况下,部分人手无结果输出问题,并优化推理性能。