项目概述
本项目是将人工智能技术与机器人技术结合、集成了AI语音、AI视觉、典型四自由度机械臂、AI嵌入式主板、Arduino开发板等硬件,实现多模态智能机器人。
此多模态机器人平台深度融合了“自然语言理解与交互(说/听)”、 “视觉感知(看)”、“机械臂控制(做)”三大能力,实现了从语言指令到物理操作的端到端智能闭环。此项目可以扩展多种使用场景,结合具身任务规划、感知决策和操作执行三个步骤,包含语音对话、任务语义理解、视觉机械臂搬运等。
实践教程
请参考下面的实践教程,可以帮你快速实现基于大模型的任务规划和感知决策机械臂项目,能够进行快速演示。
1.带你快速了解部件,进行结构搭建、软件环境配置、网络配置,搭建好项目平台。点击以下链接可直接跳转对应章节。
2.采用模块化设计方法,带你先完成机械臂初始位置调试、然后基于机械臂+大模型进行任务规划实现自主堆叠和抓取放置。点击以下链接可直接跳转对应章节。
3.感兴趣的朋友可以进来一起相互交流。