12日，成都人形机器人革新中心（以下简称革新中心）在四川成都发布了国内首个机器人多模态模型与双臂协作系统。该模型可以使机器人理解、推理抽象的语义指令，并调度双臂协作系统实行任务。
多模态数据协同推理是指融合两种或两种以上不同感知来源，进行综合推理，并完成复杂任务的过程。革新中心研究职员将多模态应用于人形机器人范围，使机器人融合图像、语义、力感知、环境感知等多种原因，综合判断、生成任务并实行。这是人形机器人具备自主考虑能力的重点核心技术。
革新中心董事长张睿睿介绍，语义指令包含相对明确地将饮料和非饮料进行区别和分拣，也包含相对抽象地将圆柱体和长方体物体、可食用和不可食用物品进行区别和分拣。完成以上任务，需要机器人通过多模态模型自主对所有物品进行提取总结。尤其是对多个相似瓶子形状的物体，机器人需进一步通过瓶身包装上的文字、图片等要点综合判断其是不是为可食用物品而非化妆品等非食用瓶装物，才能完成任务。
多模态模型的发布，不只加快了ai物理化的进程，也叫人形机器人从预设摆拍遥控操作进化到拥有更强的大脑和自主实行能力。张睿睿表示，下一步，革新中心将继续深化技术研发，不断优化多模态模型与双臂协作系统的融合应用，提高人形机器人在复杂环境中的感知、决策与实行能力。
