**队伍名称：**哇哈哈队——陕西科技大学-
**主控板卡：**RDK X3-
技术要点:-
本设计依托地平线的旭日X3开发板设计了一种语-视融合交互的幼儿教师辅助机器人，以检测并抚慰幼儿不良情绪、辅助教师管理为目的，将幼儿情绪分为三种状态：正面情绪、中性情绪和不良情绪。正面情绪为高兴，中性情绪为平静，不良情绪为哭泣、生气。采用Resnet算法结合三个120度的工业相机全方位360度通过表情识别幼儿不良情绪，同时采用SNR9912语音模块捕捉产生不良情绪幼儿的哭声信息，通过运算单元旭日X3结合或运算的真值表融合规则判断出产生不良情绪的幼儿，机器人导航至幼儿身边进行智能语音安慰，实现抚慰幼儿不良情绪的目的；通过自主设计的Follow You算法实现对幼儿的智能路线导引，当幼儿自由活动时，生活老师专注幼儿看护的任务，若此时幼儿有去某些定点位置的需求（如洗手间、办公室等），机器人可对幼儿进行定点导引，减少老师工作量，以此达到辅助教师管理的目的。
绪论
学龄前幼儿因特有的生理心理特征，导致运动行为缺乏基本安全意识，故幼儿安全看护和行为指导一直以来是社会关注的幼儿教育主要问题。随着自动驾驶的发展，自主行驶机器人已经成为一个新的技术研究热点。随着人工智能技术的成熟，深度学习算法开始能够识别人物表情和语音，并做出类人的交互决策，使人机交互逐步成为可能。
作品设计
在幼儿园中，幼儿的管理和教育依然主要靠人工管理，容易产生管理漏洞进而引发严重的幼儿安全问题。针对上述问题，设计了基于旭日X3的幼儿教师辅助机器人，提出了融合视觉识别和语音交互的幼儿表情检测与保护和基于Follow You的智能幼儿定点导引两大功能，并对系统软硬件部分进行 了详细的研究与设计。
系统总体方案论证和设计
本幼儿辅助机器人的设计目标为：-
（1）实时不良情绪检测：机器人能够具备情绪识别的能力，能够准确识别幼儿的不良情绪，如焦虑、沮丧等，并及时采取相应的措施进行干预和安抚。-
（2）定点路径导引：机器人能够具备导航功能，能够在教室内自主移动，同时可以根据产生不良情绪的幼儿的位置生成路径并导航至需要安抚的幼儿身边，按照幼儿情绪状态与幼儿位置得到的路径导引至指定位置，以与幼儿进行互动或提供指导，同时可引导幼儿到洗手间或办公室等指定位置。-
（3）安全保障：在与幼儿互动过程中，机器人能够及时避障，保证其安全性和可靠性，避免对幼儿造成任何伤害或不适，并且能够在幼儿发生紧急情况时及时告警并通知教师。-
系统由语-视融合交互系统、辅助机器人全向导航系统两部分构成，各部分介绍如下：-
（1）语-视融合交互系统-
语-视融合交互系统通过分析幼儿的面部表情、声音语调，机器人能够实时识别出幼儿的平静，高兴、哭泣、生气。辅助机器人在教室智能导航，按照融合规则将SNR9912判断的情绪状态与三个120°超广角相机组成的360°全向视觉检测得到的情绪状态进行融合，若融合后的情绪状态是不良情绪（哭泣、生气），机器人向该幼儿行进，并通过语音大模型模仿其父母声音进行智能语音安慰，若幼儿情绪平静下来，机器人继续导航对每个幼儿提供保护，否则通过微信订阅呼叫老师寻求帮助，以此达到对幼儿不良情绪及时检测。从而保护幼儿的情绪健康，并促进一个积极的学习环境。当幼儿想去洗手间或办公室等固定地点时，机器人通过Follow You实现对幼儿的智能路线导引，在导引过程中，机器人通过相机时刻关注幼儿位置，若幼儿偏离导引路线，则机器人停下并语音指导幼儿跟进，实现对教师的辅助管理。-
（2）辅助机器人全向导航系统-
辅助机器人全向导航系统通过运算单元对激光雷达和深度相机数据分析，感知周围事物信息进行地图构建与自身定位，并按照周围事物信息计算机器人目标速度通过CAN通信网络实时将目标速度发送至控制单元。控制单元按照目标速度与麦轮的运动学分析，控制驱动板驱动电机带动麦轮旋转，完成机器人的全向移动、路径规划与实时避障，实现智能化导航以及对幼儿的保护。-
功能测试
表情检测系统采用三个120度视野范围的工业相机采集幼儿人脸图像，经过人脸识别算法推理后，检测结果如图所示。算法以较高置信度推理出人脸位置与情绪类别，同时算法识别人脸具有旋转不变性，可以快速捕捉幼儿的脸部表情，适合幼儿活泼好动的性格特征。-
-
使用32dB灵敏度麦克风获取幼儿声音，SNR9912芯片分析幼儿声音中的哭声。分别在不同场景下进行测试-
-
测试结果表明，辅助机器人在巡检过程中可以对10m以内的幼儿哭声高效。别器人与发出哭声的幼儿之间存在遮挡和说话声时，对检测结果影响小，若环境中同时存在音乐声，误识别率显著升高。-
语音交互大模型测试：-
总结
本作品旨在探索语音与视觉融合交互的幼儿教师辅助机器人。通过整合语音识别和计算机视觉技术，实现机器人与幼儿的智能交互，提供个性化的教学辅助服务。机器人能够监测幼儿的情绪状态、导引其活动路径，并检测幼儿动作规范，从而提升了教学效率和幼儿安全。未来，将进一步完善机器人的功能和性能。