自然语言为人机交互提供了直观的沟通方式，但将“靠近桌面，同时远离杯子”等指令转化为机器人能够执行的运动，仍需解决物体形状理解、多条指令协调与轨迹可行性等问题。针对上述挑战，课题组提出了融合几何感知与多智能体协同的机器人轨迹调整框架GELATO。相关成果以“GELATO: Multi-Instruction Trajectory Reshaping via Geometric-Aware Multiagent-Based Orchestration”为题，发表于《IEEE Transactions on Automation Science and Engineering》。

该框架将场景感知、语言理解、轨迹优化与反馈修正连接起来，如图1所示。系统首先利用多视角图像构建环境的语义与几何表示，再将用户指令转化为与目标物体关联的位置、距离和速度条件，通过几何感知向量场调整原有轨迹。多智能体模块进一步生成不同候选方案，并依据约束检查结果进行迭代修正。

图1 GELATO多指令轨迹调整框架

在环境感知方面，研究人员结合视觉语言模型、实例分割与多视角点云，将场景物体表示为具有位置、朝向和尺寸的几何基元，如图2所示。与仅使用物体中心点的方法相比，该表示能够描述桌面、容器等对象的实际空间范围，使“靠近桌面”对应整片表面，使“远离物体”依据物体边界进行调整，从而减少指令含义与实际运动之间的偏差。

图2 真实场景及其几何基元表示

针对多条指令可能相互影响的问题，GELATO设置不同的执行顺序和优先级策略，形成多种候选轨迹。观察模块逐项检查距离、方向和速度条件；若候选结果未满足要求，反馈修正模块便调整参数并再次求解。通过这一过程，系统能够在无需重新训练模型的情况下协调多项运动要求，提高复杂指令下的轨迹调整成功率。

研究团队在单指令、多指令及串联指令场景中进行了仿真与对比实验。在各包含25次测试的单指令和多指令数据集上，GELATO的成功率分别为100%和96%，两组测试均未出现碰撞。与LATTE、OVITA相比，该方法减少了对原始轨迹的不必要改变，并在轨迹平滑性和指令满足情况方面取得了更好的综合表现。

实物实验采用7自由度Franka机械臂和双RGB-D相机，验证了靠近物体、贴近桌面以及物体邻域减速等操作。图3展示了同时靠近桌面并远离两个杯子的轨迹调整结果。在两类复杂真实环境的13项指定任务中，GELATO均完成了相应指令要求且未发生碰撞。此外，研究通过10名参与者的用户实验，进一步评价了生成运动与用户意图的一致性。

图3 复杂真实环境中的多指令轨迹调整对比

该研究将自然语言中的空间意图与可检查的几何条件建立联系，为机器人在复杂环境中理解并执行人的运动调整要求提供了方法支持，有助于降低机器人操作与任务修改的使用门槛。