
人类天生具备透过字面含义感知深层意图的直觉。如今,麻省理工学院(MIT)工程师开发的一款新型人工智能辅助学习平台,正赋予机器人类似的能力,使其能从自然语言指令中解读出更宏大的意图。
在本月即将举行的机器人学习年度会议上,来自MIT和纽约大学的研究人员推出了FLEX(Flexible Feature-Editing Pipeline,灵活特征编辑管道)。这是一种用于机器人运动规划的新型系统,允许用户通过对话式语言发出指令。机器人不仅能逐字执行,还能深入理解话语背后的含义,进行广泛概括,从而优化运动规划。
从“避开水杯”到“避开所有易碎品”
研究团队在多个模拟场景中验证了FLEX的效果。以机器人端咖啡为例,当机械臂在杂乱桌面上移动咖啡杯时,若用户输入“别洒在笔记本电脑上”,传统机器人可能仅避开该台电脑。而FLEX整合了大型语言模型(LLM),利用其在海量文本训练中习得的常识,推理出“液体损坏电子设备”的普遍规律。
“LLM在互联网上见识过无数案例,如‘手机掉进水里坏了’或‘咖啡洒在电脑上导致故障’,因此能总结出‘液体加电子设备等于损坏’的概念。”该研究作者、MIT计算机科学与人工智能实验室(CSAIL)博士后Nathan Dennler表示。借助LLM,机器人会自动推断并避开笔记本电脑及附近的手机,无需用户逐一列举。
Dennler指出,人类能自然理解话语背后的高层意图,但向机器人解释这一点通常耗时费力。FLEX提供了一种沟通接口,告诉机器人“当人们这样说时,他们的意思是那样”。
三步流程吸收常识
FLEX通过“添加-概括-掩码”三步流程,帮助机器人从有限指令中解读潜在偏好。整个过程耗时约五秒。
第一步“添加”:根据用户指令,将关键特征加入环境列表。例如用户说“别把保龄球掉在马克杯上”,机器人会将马克杯列为避让物体。这是此前方法的常规操作,但随着特征列表变长及环境变化,要求用户指定每个避让特征显得繁琐且低效。
第二步“概括”:这是FLEX的核心创新。系统调用LLM(如GPT-4o)分析马克杯及其他已指定特征,搜索数据中的模式与联系,得出概括性结论——即使未明确说明,也应避开所有易碎物体。Dennler称,LLM通过大量训练吸收了此类常识。
第三步“掩码”:机器人的计算机视觉系统评估环境,移除已不存在的物体特征,保持列表更新。
降低交互门槛
这项研究由MIT航空航天系助理教授Andreea Bobu领导,她是协作学习与自主性研究(CLEAR)实验室负责人,致力于开发能与人协同工作的自主智能体。共同作者包括纽约大学的Audrey Lee和Ilia Sucholutsky。
“机器人使用数学进行轨迹规划,但我们不能指望消费者去学习这些数学知识。”Dennler表示,CLEAR实验室的目标是通过自然语言与机器人交互,而非让人类适应机器。
尽管机器人社区正努力将自然语言纳入学习流程,但现有方法多局限于澄清任务目标或重定向轨迹。Bobu团队则专注于扩展机器人从指令中能学到的内容,特别是解读人类未明确说明的潜在偏好。
在模拟测试中,志愿者对执行端咖啡、移动蜡烛和搬运保龄球任务的虚拟机器人发出指令,如“别洒在笔记本电脑上”、“远离那叠纸”及“别掉在马克杯上”。借助FLEX,机器人不仅遵循了指令,更在高层面上进行推理:避开电子产品、远离易燃物、保护易碎品。
“每个人的家庭环境和关注点不同,没有哪款机器人出厂时就知晓什么对你重要。”Bobu表示,FLEX能从一两句话中捕捉这些信息,而非要求用户逐条列出规则,这正是机器人能否真正进入家庭的关键区别。
这项工作部分得到了MIT生成式AI影响联盟以及MIT施瓦茨曼计算学院社会与伦理责任计算计划的支持。