生活中,总有“两只手不够用”的时候,从铺床、搬运和组装大件物品、到处理多项家务等。若叫人帮忙,也面临怎么分配任务、按什么顺序干?意见不合听谁的?出了问题谁补位等“心不齐”的协作痛点。

  多个机器人协同,困难更甚。如何在有限的沟通中,驾驭无限涌现的复杂性,让一群机器人,像有一个大脑般默契?

  2026年7月,星尘智能发布第二代基座模型Lumo-2时,让多机器人、人与机器人之间协作完成复杂操作,正是模型能力之一。

  多机协同能力继续升级,星尘智能于今天发布CoMind-Be My Eye框架(简称“CoMind”)。这是主动共享、精选任务上下文的多机协同模型框架,开启全新协作范式:协作不是共享一切,而是主动传递影响决策的关键信息。

  CoMind具备两大核心特点:一是“去中心化”的主动共享,让队员间实时互通任务上下文,告别“等领导派活”的被动、中心化调度;二是精选信息,将队员所需、影响决策的信息,筛选和压缩后再共享,拒绝“一键转发”的噪声。

  “主动说重点”的高效交流,让机器人在组装纸箱和哑铃片、叠被收纳、冰箱补货等复杂家务中,有了更快、更好、更准的协作默契。

  在视野遮挡的极限测试中,CoMind让机器人拥有了科幻小说中“共享视野”的超能力。

  将智能从单机延伸到多机协作,CoMind未来还计划从“共享信息”延伸至“共享意图”,让机器人间不再反应式配合,而是预判彼此未来意图、主动补位,走向极致默契和效率。

  六项真机测试:不同协作难题,一套框架破解

  两台机器人一起干活,最难的地方在于,决定下一步动作的那条信息,往往只在队友手里。为了验证机器人跨越视野盲区能力,星尘智能在家庭与极限实验场景中,测试了CoMind如何提升机器人在复杂操作任务中的协同能力。

  组装纸箱:动作耦合视线全遮挡组装仍不停

  纸箱组装需高频物理接触(contact-rich)、较大箱体在翻转中会频繁遮挡视线、且动作高度耦合,需双方同步推挤撑开箱体,并实时判断彼此是否夹取、粘合等,是对机器人相当困难的连续精细操作。CoMind让双方实时感知操作状态和任务进度,在视野遮挡的极限测试中“借眼”,让组装和搬运丝滑、连续进行,直至成功。

  叠被收纳:柔性物体连续操作步调一致

  被子又大又软,提起、翻折和搬动时,形状与边缘持续变化,是对机器人感知与控制的双重挑战。CoMind精选视觉上下文,让双方在高频接触与动态张力中实时对齐动作意图,自主生成并同步每一步动作,全程无需分步指令,即便在大幅度形变干扰下,也能在连续操作中无缝衔接、无停顿协作。

  冰箱补货:视觉互补全局共享高效接力

  当关键信息分散在不同视野时:左侧机器人看到冰箱里缺货,右侧看到岛台上有饮料。借助CoMind,双方实时借“眼”补齐全局,开启无缝递、送接力,而不用重复来回移动,省时省力。

  组装哑铃:补齐有限视角动态中依然精准

  组装哑铃时,穿片一方难以同时看清杆与孔的动态相对位置。CoMind在毫秒级间补全队友视角的空间关系,让机器人实时调整姿态,在持续变动中锁定对准精度,完成严丝合缝的协同装配。

  盲盒置物:极限遮挡从盲猜到精准命中

  装了蓝盘子的盒子位置随机变换,左侧机器人一目了然,右侧机器人被遮挡、一无所知。在零可见信息的情况下,CoMind将左侧视野中的关键视觉特征实时共享给右侧,让原本只能靠盲猜完成的任务,精准命中,准确率提升。

  隔墙相“望”却100%跟得准

  即使互不可见,也能通过CoMind实时共享目标颜色与动作时机,两台机器人交替担任主动与跟随拿笔,任务成功率从0%跃升至100%。

  机器人协作要会“说重点”:CoMind如何工作

  中心化调度,像一位现场总指挥,宏观规划清晰,却在双人抬桌、叠被等毫秒配合中,因层层指令传递变成“等待模式”。

  去中心化看似灵活,实则信息稀薄:目视队友,若遮挡和背对时,协作即刻中断;即便通信,也多是“我在动”这类与任务脱节的文本,缺乏支撑关键动作的深层信息。而机器人每秒产生的海量视野画面,若“一键转发”,不仅带宽拥堵,更会让队友淹没在无用数据中。

  CoMind不设总指挥,每台机器人都能主动把关键信息发给队友,也能接收队友传来的信息。接收方把这些信息与自己看到的画面、任务指令和身体状态一起输入视觉—语言—动作(VLA)模型,直接生成连续动作。

  CoMind第一阶段精选任务关键信息,第二阶段双向主动共享,引导各自VLA模型输出连贯动作。

  CoMind的突破体现在三点:

  省时省力:不传原始画面,也不传与任务无关的通用特征。发送方结合自己的任务指令,从多路相机画面中优先挑出与当前操作直接相关的内容,比如盲盒竞猜中物品的颜色,压缩成一小组表征传给队友。

  默契同步:共享的不只是眼下的视觉重点。训练时,模型还要学习预测稍后的画面变化,并保留任务进展的线索,分清是“刚刚开始”还是“即将完成”,帮助队友判断下一步怎么配合。

  双向反哺:训练时,接收方的动作结果会反向调整发送方的编码器,这就是“动作级反向传播”。比如在盲盒竞猜中,看不见目标的A伸错了位置,这个偏差会反过来提醒负责传信息的B:目标特征不够突出。经过一轮轮训练,B学会了优先传递最能帮A做对动作的信息。

  星尘AI模型:让机器人在真实世界正确行动

  CoMind背后,从基座模型Lumo-1的显式推理、到Lumo-2预测世界因动作带来的变化而更好行动,机器人最终不只是为了看懂世界,更要在真实世界正确行动。而“AI模型-具身OS-绳驱本体”的全栈系统不断迭代,持续推动Physical AI的应用与规模化部署。

  回到开头那些“两只手不够用”的时刻。星尘智能希望,未来在商业、工业到家庭场景出现的,不只是一个能干的机器人,也可以是懂得预判彼此意图、主动补位的一个机器人天团。

来源:日照新闻网