高德发布具身推理模型 ABot-ER 并开源 2B 至 35B-A3B 五种规模
高德发布ABot-ER：具身大脑，不该只会一招！用“数据—模型自进化”解锁一脑多能
高德视觉技术中心推出统一具身推理模型 ABot-ER，以智能体驱动的数据—模型自进化引擎将模型错误转化为下一轮数据需求，并用任务条件化训练协调多任务学习。单个 9B 权重在十二项具身推理基准上取得综合 SOTA，其中 RoboVQA 达 71.79、Cosmos 达 68.96、VABench-P 达 63.33。
高德开源五种规模的具身推理模型与训练数据，读者可了解其数据与模型自进化的训练方法。
让机器人理解世界、组织任务并找到行动目标，需要多种能力共同成长。高德视觉技术中心推出统一具身推理模型 ABot-ER，以智能体驱动的数据—模型自进化引擎，将模型错误转化为下一轮的数据需求，并通过任务条件化训练协调多任务学习。在公开模型中，单个9B权重在感知、规划与执行上的综合表现均领先，更在横跨多类任务的十二项具身推理基准中，一举拿下综合表现SOTA。经过超过50轮预训练与后训练探索，自进化沉淀的语料让开源模型仅通过一次预训练＋一次后训练，就达到接近多轮自迭代的整体水平。此次，2B、4B、9B、27B及35B-A3B MoE五种规模模型及训练数据同步开源，支持不同具身场景按需选型。
项目主页｜https://amap-cvlab.github.io/ABot-ER/
技术报告｜https://arxiv.org/abs/2610.18355
GitHub｜https://github.com/amap-cvlab/ABot-ER
关键挑战：
机器人需要一个怎样的“大脑”？
图一｜一个具身推理模型，连接五维能力与机器人系统
“把杯子放进柜子”，对人而言是一件小事，对机器人却是一组环环相扣的判断：杯子在哪里？柜门是否打开？先做什么、后做什么？抓哪里、放哪里？动作完成后，任务真的成功了吗？
然而，现有具身推理模型在这些环节上的能力仍不均衡：有的擅长理解场景，却难以组织完整的多步计划；有的能够生成动作方案，却未必能准确定位交互目标。单项能力突出，并不意味着能在同一个模型中兼顾“看得懂、规划得好、定位得准”。 如何让多维能力既有广度、又有深度，是机器人从单项任务走向通用场景的关键挑战。
要跨过这道门槛，不能只把更多任务放进同一个模型，还要让贯穿感知、规划与执行的能力共同成长：对场景和状态的理解要支撑动作规划，规划又要落实到准确的交互位置。这要求模型在学习一项能力时，尽量不以牺牲另一项为代价。
而这种协同成长，恰恰受到数据与训练两方面的制约：
数据跟不上能力变化。 模型各项能力的成长速度不同，训练初期有效的配比，可能逐渐偏离下一阶段的学习需求。
不同任务相互干扰。 简短问答、空间坐标和长程动作计划，在输出格式、监督长度与推理跨度上差异明显，却需要共同更新一套参数。
围绕这两道难关，ABot-ER从数据和训练两端协同发力：以自进化引擎让训练语料随能力需求迭代，以任务条件化训练为不同任务保留专门的适配空间。在同一个模型中，统一覆盖空间与关系、场景与状态、时序与事件、长程动作组织、点定位与可供性五个能力维度。
核心创新：
让数据和模型一起“自进化”
图二｜评测、诊断、数据修订与训练组成自进化闭环
如何从一次失败中，找到下一轮真正需要的训练数据？
ABot-ER的自进化引擎，将这一过程组织为闭环：
评测反馈 → 能力诊断 → 数据修订 → 验证与训练 → 新一轮评测。
协调智能体综合读取分数曲线、逐样本输出、错误日志与数据来源，提出归因假设和数据需求；确定性程序负责格式、来源、曝光次数和回放验证。初期专家审查形成的规则被固化到后续流程，数据配额在每轮配置中明确记录。
这里的自进化发生在训练语料层面：模型暴露短板，数据随之修订，再由新一轮训练检验修订是否有效。
内容进化：为错误补上缺失的学习信号
内容进化回答的是：模型究竟缺少什么样的学习信号？ 它从错误背后的能力缺口出发，补充或修订相关监督，而不是一遇到低分就增加数据量。
以一个真实规划案例为例：模型成功执行了六个动作，却没有完成任务。检查发现，计划遗漏了最后的放置动作，后续回复又因重复描述造成JSON未闭合。
这意味着，模型需要学习的不只是“下一步做什么”，还包括怎样把任务完整做完，以及出错后如何继续。 自进化Agent据此自主补充包含完整终态和恢复过程的多步样本，调用验证工具检查动作前置条件，并通过环境回放确认任务是否真正完成；同时约束状态描述长度，检查计划输出能否被正确解析。由此，Agent将一次失败转化为具体、可验证的数据修订。
协议进化：让多源监督遵循清晰的表达约定
协议进化解决的是：监督内容正确，却因为表达规则冲突而让模型学乱了。 它为同类任务统一约定，同时保留不同任务各自需要的输出形式。
以点定位为例，历史数据曾混用0–1000坐标、0–1单点和XML八点序列。模型面对同类问题，却被要求学习互不一致的答案形式。
ABot-ER统一坐标数值为原图归一化的 [0,1]，并保留任务各自需要的序列化格式：点数、坐标包装和动作schema分别与固定接口对齐。
结合目标语义修订与协议统一，报告中一条历史实验线的VABench-P分数跨度，从 45.17分缩小到3.46分。在发布语料的两次同配置训练中，越过早期爬升阶段后，相同checkpoint步数的差距不超过 1.67分。
配比进化：根据当前短板重新分配学习机会
配比进化关注的是：数据和格式都对了，模型是否获得了足够、均衡的学习机会？ 随着能力短板变化，引擎调整不同监督的训练份额，同时保留其他能力的数据，降低遗忘风险。
举个例子，一道只需回答“A”的单选题，与一条包含多个动作的完整计划，虽然都算一条记录，监督长度却可能相差很大。只按条数配比，就容易误判模型真正学到了多少。ABot-ER因此同时统计样本数与监督token量，再通过分层采样、来源上限和重复次数约束分配学习机会。
每轮数据还经过去重、评测重合筛查、格式与媒体完整性检查。内容、协议、配比共同进化，决定下一次训练“学什么、怎么表达、学多少”。
弹性构建：把时间花在值得的改进上
让Agent持续工作并不难，难的是判断继续投入是否值得。在数据构建中，主体样本往往较快就能完成，最后少量难找、难验证的样本却可能让流程迟迟无法结束。如果只盯着“还差几条”，Agent就可能把大量时间和token花在收益有限的反复补齐上。 我们在自进化中也遇到了这样的长尾：补齐最后几个百分点，可能比完成前面的大部分数据还耗时。
ABot-ER为此加入了一个看似简单、却很重要的设计：把“必须凑齐多少条”，改成“在合理区间内完成目标”。 引擎持续跟踪新增合格样本的构建成本；如果剩余缺口不影响关键能力覆盖，也不增加实质风险，就允许适度调整数量目标，记录原因并结束本轮，把预算留给更值得解决的问题。
可以灵活的是数量，不能让步的是质量：来源、格式、评测污染和监督有效性仍须检查。让Agent既知道如何继续，也知道何时停下来，才能让自进化持续产生有价值的改进。
任务条件化训练：
共享知识，按任务适配
数据修订之外，ABot-ER在共享骨干中加入轻量的任务条件化低秩残差，为具身问答与任务规划提供各自的适配容量。点定位属于具身问答路由，输出仍遵循对应的坐标协议。
以9B模型为例，残差加入最后四个全注意力层的Q/V投影，rank为16；视觉编码器冻结，连接器、语言骨干和残差共同训练。推理时，任务标记确定分支，所有能力使用同一套模型权重。
这让模型能够共享物体、空间和状态知识，同时适应问答与动作计划的不同要求。在报告的MoE对照中，协议统一后的 17个匹配checkpoint 上，任务条件化版本的ET-Plan均更高，平均提升约 3.3分；整体均分的收益则会随语料一致性的提高而减弱。
图三｜共享骨干上的任务条件化低秩残差
实验结果：
综合领先，来自同一个9B checkpoint
ABot-ER的核心目标，是让多项优势共存于一个模型。
在九个公开对比模型中，感知、规划、执行相关点定位的最佳均分分别由不同模型取得。ABot-ER的单个9B checkpoint同时超过这三个最佳值。
主实验结果｜同一个9B模型与九个公开模型的十二项基准对比，加粗表示表内最佳成绩
同一checkpoint在 ERQA、RoboVQA、Cosmos、EB-ALFRED、EB-Habitat、VABench-P 六项基准上取得表内最佳结果。
其中，RoboVQA达到 71.79，Cosmos达到 68.96，分别领先对应最强公开基线5.70和5.78分；VABench-P达到 63.33，领先15.79分。九项EQA均分为 64.57。
图四｜同一个9B checkpoint的十二项表现与总体能力分布
超过50轮探索，
如何沉淀为一套可复用的数据？
自进化的价值，不只是每一轮得到一个更好的checkpoint，更在于把反复探索的经验留在数据里。
在整个研发过程中，团队围绕预训练与后训练开展了超过50轮迭代探索，不断修订监督内容、输出协议和数据配比。最终开源的模型不需要重走这条探索路径：使用沉淀后的语料，只进行一次预训练和一次后训练，就能达到接近多轮迭代的整体水平。
一组直接对照也展示了这种经验传递：从同一个祖先checkpoint出发，六轮后训练链路与使用收敛语料的一次后训练，在共同最后一轮数据的相同步数上，十二项均分分别为 60.09和60.00。这组局部对照说明，多轮修订的收益可以随数据被复用，而不必让每个新模型重复经历同样的试错。
同样的思路进一步应用于 2B、4B、9B、27B和35B-A3B MoE：五种规模模型共用两份语料和两阶段方案，无需为每个规模重新开展一套数据进化。
第一阶段训练使用约46万条物理记录建立跨能力基础，第二阶段训练使用约10万条记录进行联合补强。27B模型的EQA和规划均分达到 66.23、51.59；每token激活约3B参数的35B-A3B MoE，分别达到 65.39、46.48。
图五｜同一套数据与两阶段训练方案迁移至五种规模模型。两类均分分别报告
实机演示：
在实时变化的环境中，自主完成积木算术游戏
ABot-ER已接入ABot-AgentOS，在Galaxea R1 Pro轮式双臂机器人上进行演示，推理服务部署于单张RTX 5090D。
积木算术是一个需要实时感知环境、自主推进的闭环任务。面对参与者摆出的“6+9”的积木算式，模型要数清积木圆点、理解朝向对方的表达式，再定位结果积木的抓取点与空闲放置区域。难点不只在于算出15，更在于动作会改变桌面：系统须在每步前后重新观察，确认结果，再决定继续还是调整计划。
石头剪刀布则要求模型识别参与者当前手势及其有效性，由AgentOS结合双方手势判断胜负。两项演示中，ABot-ER负责感知与判断，AgentOS组织交互，ABot-M执行动作，共同连接从理解环境到物理操作的全过程。
图六｜实时感知与动作反馈驱动的积木算术和手势交互
结语
一个通用的具身大脑，不应只在某一道题上表现出色，还需要把对世界的理解、对任务的组织和对行动目标的判断连接起来。ABot-ER围绕这一目标，对自进化做了一次系统探索：从错误中找到值得学习的内容，在迭代中修正学习方式，再把探索经验沉淀为更多模型可以继承的数据。
我们希望，自进化带来的不只是训练轮次的增加，而是每一轮都更清楚“为什么改、改什么、何时停”。从三类数据进化到弹性构建，从统一推理到真实环境中的闭环交互，这些探索指向同一个方向：让具身大脑的成长更有依据，也让成长的经验能够被复用。
五种规模模型统一收录于ModelScope的 ABot-ER模型合集，预训练与后训练数据在 ABot-ER-Training-Data 数据集页面提供。通过开放模型与数据，团队希望让更多研究者从已有探索出发，进一步连接环境反馈、具身推理与动作控制，共同推动机器人从“完成特定任务”走向“理解并应对更广泛的真实世界”。
GitHub｜https://github.com/amap-cvlab/ABot-ER
模型开源｜https://www.modelscope.cn/collections/amap_cvlab/ABot-ER
数据开源｜https://www.modelscope.cn/datasets/amap_cvlab/ABot-ER-Training-Data
#具身智能 #自进化 #具身推理 #ABotER #机器人大脑 #高德技术
往期推荐
高德ABot-Recon：基于局部相对位姿估计的万帧级长序列流式三维重建
高德ABot-AgentOS：面向机器人智能体的通用自进化操作系统
高德 ABot-N1：以“快慢结合”架构统一五大具身导航任务
END
来源：高德技术 · mp.weixin.qq.com