平台整体集成了“视、听、触、嗅、动”五感融合设计,使人形机器人能感知周围环境。
“‘青龙’平台的核心技术经过了十多年的技术沉淀,标志着我们的人形机器人平台技术实现从无到有的突破。”梁振杰说。
青龙核心研发团队是国内最早开展仿生腿足式机器人研究的团队之一,拥有近十年机器人行业技术积累,构建了仿生机器人核心技术体系,建立了机器人控制、感知、交互等核心技术群,支撑着“青龙”处在国内人形机器人技术领先水平。
具身大脑+小脑模型:人形机器人的智力
“青龙”拥有“朱雀”具身大脑和“玄武”小脑模型。
“朱雀”具身大脑是一个以多模态大模型为核心的机器人指挥调度中心,利用多模态大模型的感知能力、任务理解能力、记忆能力以及规划能力,帮助机器人完成任务。输入方式是文字和图像信息,支持语音交互,最终将任务决策信息输出给“玄武”小脑模型。
记者采访瞭解到,在当前发布版本中,“朱雀”具身大脑共集成3个大模型,分别是:科大讯飞星火大模型、上海人工智能实验室书生·浦语大模型、上海人工智能实验室书生·万象多模态大模型。
“朱雀”具身大脑拥有跨设备的调度框架。具体来看,书生浦语大模型和万象多模态大模型运行在本地服务器,其中,语言大模型实现用户意图识别与对话功能;讯飞星火大模型与浦语功能相似,但是运行在云端服务器;多模态大模型具备处理图像的能力,当识别到用户的任务与当前环境相关时,会启用多模态大模型进行环境感知。
中心具身智能负责人田翀说,在后续更新版本中,我们将微调参数量较小的语言模型,直接部署在机器人终端,作为大模型的补充。对于简单问题,机器人直接做出回复,从而减少与服务器通信的时间,实现更快速准确的交互与技能调度。
|